CN110178125B - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN110178125B
CN110178125B CN201880006672.XA CN201880006672A CN110178125B CN 110178125 B CN110178125 B CN 110178125B CN 201880006672 A CN201880006672 A CN 201880006672A CN 110178125 B CN110178125 B CN 110178125B
Authority
CN
China
Prior art keywords
player
information
speaking
range
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880006672.XA
Other languages
English (en)
Other versions
CN110178125A (zh
Inventor
河野真一
泷祐平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110178125A publication Critical patent/CN110178125A/zh
Application granted granted Critical
Publication of CN110178125B publication Critical patent/CN110178125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/54Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/79Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/87Communicating with other players during game play, e.g. by e-mail or chat
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081Input via voice recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/572Communication between players during game play of non game information, e.g. e-mail, chat, file transfer, streaming of audio and streaming of video
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开内容涉及使得可以在虚拟现实中与玩家通信期间控制通信伙伴,而不损失虚拟现实世界视图并且不破坏沉浸感的信息处理设备、信息处理方法和程序。基于环境信息,将能够识别玩家的讲话内容的另一玩家的范围确定为讲话范围。此后,所讲信息仅被传送给确认在讲话范围内的玩家;因此,当发生讲话时可以使用环境信息控制伙伴。本发明适用于信息处理设备。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开内容涉及信息处理设备、信息处理方法和程序,并且更具体地,涉及能够在虚拟现实空间(虚拟现实:VR)中的玩家之间的通信中控制通信伙伴而不损失沉浸感并且不损害VR世界视图的信息处理设备、信息处理方法和程序。
背景技术
基于虚拟现实空间(下文中称为虚拟现实(VR))中的声源和玩家的位置信息,已经提出了在保持现实性(维持VR世界视图)的同时向通信伙伴传递语音的方法(参见专利文献1)。
引用列表
专利文献
专利文献1:JP 2016-187063A
发明内容
技术问题
然而,以上所述的根据专利文献1的技术是基于位置信息的,语音被均一地传送到同一范围内的伙伴,因此不可能控制在以下之间进行切换:将语音传送到特定伙伴,以及将语音传送到所有成员。因此,仅可以均一地控制其中一个。
因此,用户讲话而不知道语音被传送到哪个伙伴,并且用户对话语内容被传送到谁感到不安。
此外,通过产生用户界面(UI)等,可以控制在仅向特定伙伴传送语音与向所有成员传送语音之间的切换,但是在一般UI操作的情况下,在诸如游戏(其是原始目的)的操作中发生影响,并且存在以下顾虑:VR的世界视图受到极大损害。
此外,在VR中的玩家之间的通信中,不可能控制通信伙伴而不损失沉浸感并且不损害VR世界视图。也就是说,在VR中的玩家之间的通信中,由于难以明白目的地或发送者并且不可能区分直接消息和公共消息,因此必须在一个人不知道其与谁通信的状态下讲话,并且存在如下顾虑:在这种情况下的通信本身导致产生苦恼。
鉴于这样的情况已做出了本公开内容,并且具体地,本公开内容能够在VR中的玩家之间的通信中控制通信伙伴,而不损失沉浸感并且不损害VR世界视图。
解决技术问题的技术方案
本公开内容的一个方面的信息处理设备是包括讲话范围确定单元的信息处理设备,该讲话范围确定单元基于环境信息,在玩家讲话时将能够识别所讲内容的另一玩家所存在于其中的范围确定为讲话范围。
讲话范围可以是能够基于玩家讲出的语音数据识别信息的另一玩家所存在于其中的范围。
环境信息可以包括玩家的语音数据、行为信息、姿态信息、视线信息和周围环境信息。
还可以包括语音数据获取单元,其获取玩家的话语作为环境信息中的语音数据。讲话范围确定单元可以基于语音数据确定讲话范围。
讲话范围确定单元可以基于语音数据的音高确定讲话范围。
讲话范围确定单元可以基于语音数据的讲话速度确定讲话范围。
还可以包括行为信息姿态信息获取单元,其获取环境信息中的行为信息和姿态信息。讲话范围确定单元可以基于行为信息和姿态信息确定讲话范围。
还可以包括视线信息获取单元,其获取环境信息中的视线信息。讲话范围确定单元可以基于视线信息确定讲话范围。
还可以包括周围环境信息获取单元,其获取环境信息中的周围环境信息。讲话范围确定单元可以基于周围环境信息确定讲话范围。
周围环境信息可以包括虚拟现实(VR)环境信息。
还可以包括视线信息获取单元,其获取环境信息中的视线信息;以及显示单元,其基于VR环境信息来显示VR空间。当基于视线信息,玩家的视线停留在VR空间中预定玩家所存在的位置处达预定时间时,显示单元可以将表示视线停留的时间的视线停留标记显示在预定玩家被显示的位置上。
当基于视线信息,玩家的视线停留在显示单元所显示的、VR空间中另一玩家所存在的位置处达到比预定时间更长的时间时,讲话范围确定单元可以将另一玩家确定为讲话范围,并且显示单元可以将指示通过视线确定讲话范围的标记显示在另一玩家被显示的位置上。
当讲话范围确定单元基于VR空间中另一玩家的视线信息通过另一玩家的视线而确定玩家在讲话范围内时,显示单元可以将接收视线停留标记显示在另一玩家被显示的位置上。
在能够基于VR空间中玩家的视线信息确认接收视线停留标记在视觉上被识别的情况下,讲话范围确定单元可以将另一玩家确定为讲话范围,并且显示单元可以将表示建立目光接触的标记显示在另一玩家被显示的位置上。
还可以包括显示单元,其基于VR环境信息来显示VR空间;语音数据获取单元,其获取玩家的话语作为环境信息中的语音数据;以及传输控制单元,其基于由语音数据获取单元获取的语音数据来控制要向讲话范围中包括的哪个玩家执行传输。传输控制单元可以将语音数据的语音识别结果作为文本显示在显示单元上,并且在讲话范围中存在多个玩家的情况下,传输控制单元可以按顺序依次向多个玩家中的每个玩家移动并显示文本。
传输控制单元可以将能够在视觉上被讲话范围内的玩家识别、并且不能在视觉上被讲话范围之外的玩家识别的文本显示在显示单元上。
可以通过图像、警告声音、警告振动和警告合成声音中的任何一个或者图像、警告声音、警告振动和警告合成声音的组合来向玩家呈现讲话范围。
本公开内容的一个方面的信息处理方法是包括如下步骤的信息处理方法:基于环境信息,在玩家讲话时将能够识别所讲内容的另一玩家所存在于其中的范围确定为讲话范围的步骤。
本公开内容的一个方面的程序是如下程序:该程序使计算机用作讲话范围确定单元,该讲话范围确定单元基于环境信息,在玩家讲话时将能够识别所讲内容的另一玩家所存在于其中的范围确定为讲话范围。
根据本公开内容的一个方面,当玩家讲话时,基于环境信息将能够识别所讲内容的另一玩家所存在于其中的范围确定为讲话范围。
本发明的有益效果
根据本公开内容的一个方面,具体地,可以在(虚拟现实)VR中的玩家之间的通信中控制通信伙伴,而不损失沉浸感并且不损害VR世界视图。
附图说明
图1是示出本公开内容的信息处理系统的配置示例的框图。
图2是用于说明图1的图像输出单元的显示示例的图。
图3是用于说明反馈显示栏的图。
图4是用于说明讲话范围的显示示例1的图。
图5是用于说明讲话范围的显示示例2的图。
图6是用于说明讲话范围的显示示例3的图。
图7是用于说明讲话范围的显示示例4的图。
图8是用于说明讲话范围的显示示例5的图。
图9是用于说明讲话范围的显示示例6的图。
图10是用于说明讲话范围的显示示例7的图。
图11是用于说明其中根据确定讲话范围的情况来控制信息的传输的示例1的图。
图12是用于说明语音识别结果的显示示例1的图。
图13是用于说明语音识别结果的显示示例2的图。
图14是用于说明语音识别结果的显示示例3的图。
图15是用于说明语音识别结果的显示示例4的图。
图16是用于说明讲话范围的解除的图。
图17是用于说明根据确定讲话范围的情况来控制信息的传输的示例2的图。
图18是用于说明控制处理的流程图。
图19是用于说明环境信息收集处理的流程图。
图20是用于说明讲话范围确定处理的流程图。
图21是用于说明传输控制处理的流程图。
图22是用于说明通用个人计算机的配置示例的图。
具体实施方式
在下文中,将参照附图详细描述本公开内容的(一个或多个)优选实施方式。注意,在本说明书和附图中,具有基本相同的功能和结构的结构元件用相同的附图标记表示,并且省略对这些结构元件的重复说明。
<信息处理系统的配置示例>
将描述应用了本公开内容的技术的、包括信息处理设备和云服务器组的信息处理系统的配置示例。
图1的信息处理系统包括信息处理设备11-1至11-n,例如安装在用户上的头戴式显示器,以及云服务器组12,其实现对呈现给信息处理设备11-1至11-n的各种信息的生成和控制,其中该用户是由例如虚拟现实空间(在下文中,也称为虚拟现实(VR))实现的游戏等的玩家。另外,除非特别需要区分信息处理设备11-1至11-n,否则将信息处理设备11-1至11-n中的每一个简称为信息处理设备11。
信息处理设备11检测在VR中讲话时的状况、位置关系、行为、姿态、视线和语音作为用户的环境信息,并且基于作为检测结果的环境信息将VR中的以下玩家确定为讲话范围:该玩家是用户的话语要被传送到的伙伴。信息处理设备11以能够被用户识别的形式来向佩戴信息处理设备11的用户呈现讲话范围,例如通过在显示器等上显示讲话范围。该呈现使得用户可以在识别他自己或她自己的讲话范围的同时讲话,并且从VR中的通信的以下困扰中解脱:不知道他自己或她自己的话语被传送到哪个伙伴。
另外,信息处理设备11根据话语内容缩减讲话范围内的玩家,根据话语内容通知作为话语内容被传送到的伙伴的玩家所使用的其他信息处理设备11,以及使用其他信息处理设备11向用户呈现话语内容。此时,信息处理设备11通过用户的视觉、听觉和触觉呈现各种信息。
此外,在通过视觉、听觉和触觉向用户呈现各种信息时,信息处理设备11根据情况需要将环境信息的语音数据传送到包括多个服务器计算机等的云服务器组12,使云服务器组12分析语音数据,以及使用分析结果。
云服务器组12分析环境信息的语音数据,并且将分析结果传送到信息处理设备11。
信息处理设备11获取指定以下伙伴的信息:作为佩戴信息处理设备11的用户的玩家希望将从云服务器组12传送的信息在VR内传送到该伙伴,并且信息处理设备11基于所指定伙伴的信息向用户通知(呈现)讲话范围和作为讲话范围中的伙伴的玩家,其中该讲话范围是佩戴信息处理设备11的用户在VR中的讲话的范围。
利用该配置,在VR实现的空间中,对VR实现的游戏等的玩家进行控制的用户能够在切换通信伙伴(即,玩家希望将信息传送到的伙伴)的同时(在控制伙伴的切换的同时)进行讲话,而在VR中不损失沉浸感并且不损害VR世界视图。
在下文中,更具体地,将描述包括在图1的信息处理系统中的信息处理设备11和云服务器组12的配置示例。
另外,在下文中,将使用在VR中实现的游戏作为示例给出描述,游戏中的角色将被称为玩家,并且佩戴信息处理设备11的用户通过控制出现在游戏中的每一个玩家来参与在VR中实现的游戏。
信息处理设备11包括中央处理单元(CPU)31、存储器32、存储单元33、振动单元34、通信单元35、语音获取单元36、图像输出单元37、语音输出单元38、VR环境信息获取单元39、行为信息获取单元40和视线识别处理单元41。
通过经由总线42控制各种连接的配置,CPU 31控制信息处理设备11的整体操作。另外,CPU 31读取在包括硬盘驱动器(HDD)或固态驱动器(SSD)等的存储单元33中存储的程序,在包括半导体存储器等的存储器32中开发程序,执行程序以及实现预定的功能。更具体地,CPU 31通过执行在存储单元33中存储的程序而用作为讲话范围控制单元31a和传输控制单元31b。
讲话范围控制单元31a基于由语音获取单元36、VR环境信息获取单元39、行为信息获取单元40和视线识别处理单元41获取的环境信息来确定由用户控制的玩家的讲话范围。更具体地,当用户控制的玩家在VR中讲话时,讲话范围控制单元31a确定能够识别所讲内容的另一玩家所存在于其中的范围,或能够识别所讲内容的另一玩家。
此处,环境信息是表示玩家状态的信息。更具体地,环境信息是例如由语音获取单元36获取的语音数据、由VR环境信息获取单元39获取的VR环境信息、由行为信息获取单元40获取的行为信息和姿态信息、以及由视线识别处理单元41获取的视线信息。另外,VR环境信息包括在VR中由用户控制的玩家或对象,以及由用户控制的玩家或对象附近的玩家或对象的位置或状况。
与语音数据相关联的环境信息例如是语音的音高、音量、频率、语言等,并且还包括基于语音数据获得的情绪等。
与行为信息相关联的环境信息是用于识别玩家的行为(例如停止、行走和跑步)的信息。
与姿态信息相关联的环境信息是例如用于识别玩家的姿态(例如取向、坐下和站立)的信息。
与视线信息相关联的环境信息是例如与玩家的视线相关联的信息,例如视线方向和注视状态。
另外,除了上述之外,环境信息包括玩家的状况,并且例如包括诸如哭泣、笑、冷漠、悲伤和快乐的玩家状况。
在指定讲话范围的状态下,传输控制单元31b还在用户讲话时基于语音数据缩减在讲话范围中的信息要被传送到的对象,并且还控制要传送的信息和传输方法。
振动单元34切换并且振动包括头戴式显示器等的信息处理设备11的主体的多个部分,以通过振动向佩戴信息处理设备11的用户的头部的各个部分提供刺激。
通信单元35通过预定频带的无线通信或有线通信来实现例如局域网(LAN)的通信,并且通过因特网等执行预定数据或程序的传输和接收。
语音获取单元36包括例如麦克风,获取由佩戴信息处理设备11的用户产生的语音,并且通过总线42将语音作为语音数据输出到CPU 31。
图像输出单元37包括例如液晶显示器(LCD)或有机电致发光(EL),并且当信息处理设备11整体用作头戴式显示器时,图像输出单元37用作向用户显示VR中的图像的VR显示器。
语音输出单元38包括例如扬声器或头戴式耳机,并且将VR中的语音输出给用户。
VR环境信息获取单元39获取包括VR中的各种对象或玩家的位置或状况(包括另一玩家的位置或状况)的VR环境信息,并且通过总线42将VR环境信息提供给CPU 31。
行为信息获取单元40获取用户(其控制VR中的玩家的运动)的行为信息或姿态信息,并且将用户的行为信息或姿态信息提供给CPU 31。更具体地,行为信息获取单元40包括例如陀螺仪传感器、图像识别摄像装置、脉冲传感器、加速度传感器和唇部识别传感器。
视线识别处理单元41根据例如由摄像装置捕获的眼睛的图像来识别视线方向,该摄像装置捕获对VR中的玩家的运动进行控制的用户的眼睛。
云服务器组12包括存在于网络(包括因特网等(未示出))上的多个服务器计算机组,并且用作语音分析处理单元61、语音识别单元62、自然语言处理单元63、含义分析处理单元64、情绪估计处理单元65和文本至语音(TTS)单元66。云服务器组12的各种功能可以由单个服务器计算机实现或者可以由多个服务器计算机实现。
语音分析处理单元61对从信息处理设备11提供的语音数据上的预定频率的语音执行噪声去除或强调,并且分析各种语音数据。例如,语音分析处理单元61基于语音数据、表示为每个基频的出现率的所讲语音的音高、表示为每单位时间的音素数的讲话速度、音量以及存在或不存在语调,来分析语言的种类(诸如日语、英语或法语的种类)。另外,语音分析处理单元61将去除了噪声的语音数据提供给语音识别单元62。
语音识别单元62将语音数据识别为根据语音分析处理单元61提供的语音数据而产生的词(例如,文本数据),并且将识别结果与语音数据一起提供给自然语言处理单位63。
自然语言处理单元63基于语音数据和从语音识别单元62提供的识别结果对识别结果执行自然语言处理,并且将包括例如文本数据的处理结果输出到含义分析处理单元64。
含义分析处理单元64基于对其执行了自然语言处理的包括例如文本数据的处理结果来分析含义,并且将分析结果输出到情绪估计处理单元65。
情绪估计处理单元65基于语音分析结果和含义分析结果来估计用户的情绪,该用户对产生包括该语音数据的语音的玩家进行控制。另外,关于基于语音数据的情感估计的具体方法,例如,参考“语音颅神经分析技术的应用,定量测量思维的技术(http://agi-web.co.jp/docs/Univ-Tokyo.pdf)”。
文本至语音(TTS)单元66基于作为自然语言处理结果的、被转换为自然语言的文本数据通过TTS来生成合成语音。
<关于图像输出单元的显示示例>
接下来,将参照图2描述图像输出单元的显示示例。
例如,图像输出单元37是如图2的左侧部分所示佩戴在用户H的头部上的所谓的头戴式显示器,并且显示能够由用户H通过目视观察观看的图像。
在图像输出单元37中,例如,显示如图2的右侧部分所示的图像P1。图2的右侧部分所示的图像P1是游戏中的战斗场景的图像的示例,显示由用户H控制的玩家所持有的枪和由用户H通过持有枪的手操作的玩家91-1,并且分别显示作为同志的玩家91-2至91-4和作为敌人的玩家92-1和92-2。在控制玩家91-2至91-4、92-1和92-2中的每一个的相应用户所佩戴的信息处理设备11的图像输出单元37中,显示与相应玩家在VR中的位置关系相对应的图像。
<反馈显示栏>
另外,如图3所示在图像P1中,提供用于反馈VR环境信息的VR环境信息反馈显示栏101、用于反馈输入状态(语音数据)的输入状况反馈显示栏102以及指示视线的标记103。
在图3的图像P1中,基于由VR环境信息获取单元39获取的环境信息以及由行为信息获取单元40获取的行为信息和姿态信息,显示在VR中由用户H控制的玩家所观看的图像。因此,例如,在基于环境信息、行为信息、以及玩家正在以预定姿态向前跑步和移动的姿态信息进行识别的情况下,周围景观相应地改变,并且能够从其识别出玩家正在以预定姿态向前跑步和移动的图像被显示为图像P1。
如图3中的图像P1的右上部分所示,在VR环境信息反馈显示栏101中,基于显示由VR环境信息获取单元39获取的VR环境信息,在图中向上箭头的方向被设置为玩家的前方时的表示附近玩家的布置的点被显示在点91P-1周围,在该点91P-1处由用户H控制的玩家的位置变为水平方向直线与竖直方向直线的交点。
在图3中,将其自身位置表示为中心位置的点91P-1被显示,使得能够识别表示另一玩家所存在位置的点的方向和距离。
也就是说,如图3所示,当从作为用户H控制的玩家所存在的中心位置的点91P-1观看时,在左前侧显示表示同伴玩家位置的点91P-2至91P-4以及表示敌方玩家位置的点92P-1,在右前侧显示表示敌方玩家位置的点92P-2和92P-x,在左后侧显示表示同伴玩家位置的点91P-m,以及在右后侧显示表示同伴玩家位置的点91P-n。
另外,如图3中的图像P1的右下部分所示,在输入状况反馈显示栏102中显示表示语音获取单元36所获取的语音的信号水平的波形。
如上所述,通过观看如图3所示的图像P1,用户H能够以他自己或她自己为中心来识别在VR中不同于他自己或她自己的玩家的方向和距离,以及能够识别他或她已讲出的语音的输入是否足够。
另外,基于由视线识别处理单元41获取的视线信息,在图3中的图像P1的左下部分上显示指示视线的标记103。标记103是眼睛指向(eye-pointing)图标,并且被显示在与佩戴信息处理设备11的用户H的图像P1中的视线方向对应的位置处。
<讲话范围的显示示例1>
接下来,将参照图4描述基于他或她的话语的语音音高的讲话范围的显示示例1。
在观看图4的图像P1的同时,用户H将接近的玩家例如视为敌人,并且存在诸如“敌人来了我怎么做”的话语的情况下,语音获取单元36收集并且获取所讲的语音作为语音,并且将语音作为语音数据提供给CPU31。由CPU 31控制的讲话范围控制单元31a控制通信单元35以将语音数据传送到云服务器组12。
作为该处理的结果,在语音分析处理单元61获取语音数据的情况下,在执行适合于分析的处理(例如噪声去除处理)之后,语音分析处理单元61分析语音数据,将分析结果传送到信息处理设备11,以及将语音数据传送到语音识别单元62和情绪估计处理单元65。更具体地,基于语音数据,语音分析处理单元61分析语言的种类、根据每个基频的比率的所讲语音的音高、根据每单位时间的音素数的语音速度、音量、以及存在或不存在语调。
语音识别单元62基于语音数据将语音识别为语言,将语音识别结果转换为例如文本数据,以及将文本数据提供给自然语言处理单元63和文本至语音单元66。
自然语言处理单元63转换通过文本数据等获得的语音识别结果,使得语音识别结果根据前后的上下文变为自然语言,并且将转换结果提供给含义分析处理单元64。
含义分析处理单元64基于从自然语言处理单元63提供的转换结果来分析用户H的话语的含义,并且将该含义作为含义分析结果提供给情绪估计处理单元65。
情绪估计处理单元65基于从话语分析处理单元61提供的语音数据和含义分析处理单元64的含义分析结果来估计用户H的情绪,并且将情绪估计结果和含义分析结果传送到信息处理设备11。
文本至语音单元66基于通过文本数据获得的自然语言处理结果通过TTS来生成合成语音,并且将合成语音传送到信息处理设备11。
基于情绪估计结果和含义分析结果,讲话范围控制单元31a指定讲话范围,并且将讲话范围显示为例如VR环境信息反馈显示栏101中的讲话范围121和图像P中的讲话范围122。
更具体地,例如基于含义分析结果,讲话范围控制单元31a将例如用户H的诸如“敌人来了我怎么做”的话语内容显示在图像输出单元37中的图像P1的上部分上,以便显示在图4的显示栏M1中。另外,讲话范围控制单元31a例如基于语音数据的基频的分析结果获得如图4的下部中的波形G1所示的话语的基频与产生频率之间的关系,并且基于超过阈值Fthresh的频带的产生频率是不是高来估计情绪。
例如,如图4的下部的波形图G1所示,在认为不超过阈值Fthresh的频带的产生频率为高并且语音以低声讲出的情况下,讲话范围控制单元31a认为冷静地讲出语音,并且认为仅向非常接近用户H的玩家的玩家生成语音。
此时,例如,讲话范围控制单元31a将讲话范围121显示在图4的VR环境信息反馈显示栏101中。也就是说,在图4的VR环境信息反馈显示栏101中的讲话范围121中,包括指示玩家91-2和91-3的位置的点91P-2和91P-3的范围被确定为讲话范围,并且该范围例如被显示为讲话范围121,其中玩家91-2和91-3非常接近指示用户H的玩家的位置的点91P-1。
类似地,讲话范围控制单元31a显示玩家91-2和91-3所存在于其中的范围作为讲话范围122,其中玩家91-2和91-3在图像P1中非常接近指示用户H的玩家91-1的位置的点。
在如上所述确定讲话范围的情况下,随后由用户讲出的信息通过稍后将描述的处理仅传送到讲话范围内的玩家。
由于如上所述在图像P1中显示讲话范围121和122,因此用户H能够仅通过查看图像输出单元37中的讲话范围121和122来识别他的或她的讲话范围。
因此,由于用户能够在用户认识到他或她自己所讲出的信息现在被传送到哪个伙伴的状态下进行讲话,因此可以减少用户在讲话中不知道向谁传送话语的状态下讲话的不安。
另外,用户H的话语内容的文本数据的显示,例如图4的显示栏M1所示的“敌人来了我怎么做”可以以其他方式被传送到用户H。例如,合成语音可以由文本至语音单元66生成,并且合成语音可以作为语音从语音输出单元38输出。
另外,在以下描述中,如果必要,通过与参照图4描述的云服务器组12的语音分析处理单元61、语音识别单元62、自然语言处理单元63、含义分析处理单元64、情绪估计处理单元65和文本至语音单元66所进行的处理类似的处理而获得的处理结果被统称为话语处理结果,并且将适当地省略其描述。
<讲话范围2的显示示例2>
接下来,将参照图5描述基于另一玩家的话语的讲话范围的显示示例2。
例如,在图5的VR环境信息反馈显示栏101中在用户H的左后侧处没有显示在图像P1中的玩家91-m讲出“哇,,,看起来很强”的情况下,由以下用户所拥有的信息处理设备11的语音获取单元36收集并且获取所讲的语音作为语音,并且将语音作为语音数据提供给CPU 31:所述用户是不同于用户H的用户,并且操作玩家91-m。由CPU 31控制的讲话范围控制单元31a控制通信单元35以将语音数据传送到云服务器组12。在讲话范围控制单元31a通过以上所述的一系列处理获取语音数据作为语音处理结果的情况下,讲话范围控制单元31a通过与以上所述的一系列处理类似的处理来确定讲话范围。另外,讲话范围控制单元31a将与所确定的讲话范围相关联的信息和话语处理结果传送到另一信息处理设备11。
由用户H佩戴的信息处理设备11的讲话范围控制单元31a控制通信单元35以获取从另一信息处理设备11传送的与讲话范围相关联的信息。
此处,语音处理结果是基于由自然语言处理单元63根据语音数据而识别的诸如“哇,,,看起来很强”的文本数据和由文本至语音单元66生成的诸如“哇,,,看起来很强”的文本数据的合成语音。
讲话范围控制单元31a基于由VR环境信息获取单元39获取的玩家91-m的VR环境信息和与以下讲话范围相关联的信息来识别玩家91-m的讲话范围:所述讲话范围来自于对应于玩家91-m的用户所佩戴的信息处理设备11。另外,例如,在VR环境信息反馈显示栏101中,讲话范围控制单元31a将玩家91-m的讲话范围显示为例如图5的讲话范围121。在讲话范围121中,包括VR环境信息反馈显示栏101的中心位置(其指示用户H所存在的位置)和玩家91-m的VR中的点91P-m。
例如,如图5的显示栏M11所示,讲话范围控制单元31a基于自然语言处理结果将用户H的诸如“哇,,,看起来很强”的话语内容显示例如在图像输出单元37中的图像P1的上部中。
由于如上所述在图像P1中显示讲话范围121,因此用户H能够通过简单地查看图像输出单元37中的讲话范围121来识别不同于他自己或她自己的玩家的讲话范围。
另外,如图5的讲话范围121和122所示,可以通过将讲话范围作为图像显示在图像输出单元37上的另一方法来表示讲话范围。
例如,如图5的左下部所示,讲话范围控制单元31a可以基于玩家91-m的环境信息来控制语音输出单元38,以从左后侧输出“嘟嘟嘟”的警告声音132,该左后侧是与VR环境信息反馈显示栏101中的位置对应的方向。此时,可以通过在距离短时将语音设置为大音量以及在距离远时将语音设置为小音量来仅通过语音识别讲话范围的方向和距离。
另外,例如,如图5的中下部所示,讲话范围控制单元31a可以基于玩家91-m的环境信息来控制振动单元34,以从左后侧生成警告振动133,该左后侧与VR环境信息反馈显示栏101中的位置对应。此时,可以通过在距离短时将振动设置为大振动以及在距离远时将振动设置为小振动来仅通过振动识别讲话范围的方向和距离。
此外,例如,如图5的右下部所示,讲话范围控制单元31a可以基于玩家91-m的环境信息来控制语音输出单元38,以从左后侧输出由文本至语音单元66生成的“哇,,,看起来很强”的警告合成声音134,该左后侧与VR环境信息反馈显示栏101中的位置对应。此时,可以通过在距离短时将语音设置为大音量以及在距离远时将语音设置为小音量来仅通过语音识别讲话范围的方向和距离。
如上所述,讲话范围不仅可以由图像表示,还可以由警告声音、警告振动、警告合成声音等表示,使得如上所述用户H能够知道在讲话范围内存在的玩家的方向和距离。
因此,由于在讲话中可以在检查哪个伙伴的语音被传送的同时说话,因此可以在识别对谁响应讲话的同时说话。因此,可以减少用户在讲话时不知道话语被传送给谁的状态下讲话的不安。
<讲话范围的显示示例3>
接下来,将参照图6描述基于他或她的话语语音的讲话速度的讲话范围的显示示例3。
在观看图像P1的同时,用户H观看例如敌方玩家的接近,并且存在诸如“前方——,注意——,有可能——保存稀有物品——”的话语的情况下,语音获取单元36收集并且获取所讲语音作为语音,并且将语音数据作为语音数据提供给CPU 31。由CPU 31控制的讲话范围控制单元31a控制通信单元35以将语音数据传送到云服务器组12。
讲话范围控制单元31a基于通过云服务器组12的处理获得的话语处理结果来确定讲话范围,并且将讲话范围显示为例如VR环境信息反馈显示栏101中的讲话范围121和图像P1中的话语122。此处,例如,语音处理结果的使用是语音分析结果和自然语言处理结果。
更具体地,讲话范围控制单元31a基于自然语言处理结果将用户H的诸如“前方——,注意——,有可能——保存稀有物品——”的话语内容显示在例如图像输出单元37中的图像P1的上部,如图6的显示栏M21所示。另外,讲话范围控制单元31a基于每单位时间的音素数的大小,即讲话速度的语音分析结果,来确定例如用户H附近的哪个玩家是讲话对象。例如,在图6的情况下,由于因为存在长音而假定讲话速度慢,所以讲话范围控制单元31a认为讲话速度低于预定速度,并且话语是针对作为近处存在的同伴的所有玩家的。
此时,例如,讲话范围控制单元31a将讲话范围121显示在图6的VR环境信息反馈显示栏101中。也就是说,在图6的VR环境信息反馈显示栏101中的讲话范围121中,包括指示玩家91-2至91-4、91-m和91-n的位置的点91P-2至91P-4和91P-m的范围被显示为讲话范围121,其中玩家91-2至91-4、91-m和91-n是接近指示用户H的玩家91-1的位置的同伴。
类似地,讲话范围控制单元31a显示以下范围作为讲话范围122:在所述范围中,存在着在图像P1中接近用户H的玩家91-1的位置的我方兵力的玩家91-2至91-4。
由于如上所述在图像P1中显示讲话范围121和122,因此用户H能够仅通过观看图像输出单元37中的讲话范围121和122来识别他或她的讲话范围。
因此,由于可以在确认话语被传送到的伙伴之后进行讲话,并且可以在确认在讲话时话语被传送到哪方的同时讲话,因此可以减少用户在讲话中不知道话语被传送给谁的状态下讲话的不安。
<讲话范围的显示示例4>
接下来,将参照图7描述基于VR环境信息的讲话范围的显示示例4。
例如,在用户H观看例如图7的图像P2的同时,并且存在诸如“怎么了你还好吗”的话语的情况下,语音获取单元36收集并且获取所讲语音作为语音,并且将语音作为语音数据提供给CPU 31。由CPU 31控制的讲话范围控制单元31a控制通信单元35,以将语音数据传送到云服务器组12。
讲话范围控制单元31a基于从云服务器组12获得的话语处理结果中的自然语言处理结果和情感估计结果来确定讲话范围,并且将讲话范围例如显示为VR环境信息反馈显示栏101中的讲话范围121和图像P2中的讲话范围122。此处,在图像P2中,显示由用户H控制的玩家151-0和孩子的玩家151-1至151-5。其中,孩子的玩家151-1正在笑,玩家151-2正在乔装,玩家151-3正在玩耍,玩家151-4和15-5正在哭泣。相应孩子的玩家151-1至151-5的状态被包括在VR环境信息中。
因此,在该情况下,讲话范围控制单元31a将例如作为自然语言处理结果的“怎么了你还好吗”显示在图像输出单元37中的图像P1的上部,如图7的显示栏M31所示。另外,基于情绪估计结果,讲话范围控制单元31a基于情绪估计处理单元65的语音数据的输入语音是否小并且轻柔说出的分析结果来确定话语是否是针对例如用户H附近的哭泣玩家的话语。例如,在图7的情况下,由于玩家151-4和151-5正在哭泣,所以讲话范围控制单元31a认为话语被轻柔地说给哭泣的孩子,并且话语是针对哭泣的孩子玩家的。
此时,例如,讲话范围控制单元31a将讲话范围121显示在图7的VR环境信息反馈显示栏101中。也就是说,在图7的VR环境信息反馈显示栏101中的讲话范围121中,包括指示用户H的玩家151-0的位置和哭泣玩家151-4和151-5的位置的点151P-4和151P-5的范围被显示为讲话范围121。
类似地,讲话范围控制单元31a显示在图像P2中用户H的玩家151-0和哭泣孩子的玩家151-4和151-5所存在于其中的范围作为讲话范围122。
由于如上所述在图像P2中显示讲话范围121和122,因此用户H能够仅通过观看图像输出单元37中的讲话范围121和122来识别他或她的讲话范围。
因此,由于可以在确认话语被传送到的伙伴之后进行讲话,并且可以在讲话时在确认话语被传送到哪方的同时讲话,因此可以减少用户在讲话时不知道话语被传送到谁的状态下讲话的不安。
<讲话范围的显示示例5>
接下来,将参照图8描述基于行为信息和姿态信息的讲话范围的显示示例5。
讲话范围控制单元31a基于行为信息和姿态信息指定讲话范围,并且将讲话范围显示为例如VR环境信息反馈显示栏101中的讲话范围121和图像P1中的讲话范围122。
更具体地,例如,在基于行为信息和姿态信息,用户H站立和跑步的情况下,讲话范围控制单元31a基于VR环境信息确定位于用户H附近的话语所针对的玩家。
例如,在图8所示的情况下,由于用户H控制的玩家91-1正在站立和跑步,因此讲话范围控制单元31a基于VR环境信息认为话语是针对在用户H附近类似地站立和跑步的玩家。
此时,例如,讲话范围控制单元31a将讲话范围121显示在图8的VR环境信息反馈显示栏101中。也就是说,在图8的VR环境信息反馈显示栏101中的讲话范围121中,包括指示我方兵力的玩家91-2和91-3的位置的点91P-2和91P-3的范围被显示为讲话范围121,其中玩家91-2和91-3接近指示用户H的玩家91-1的位置的点91P-1。
类似地,讲话范围控制单元31a显示以下范围作为讲话范围122:在所述范围中存在着在图像P1中接近用户H的玩家91-1的位置的同伴玩家91-2和91-3。
由于如上所述在图像P1中显示讲话范围121和122,因此用户H能够仅通过观看图像输出单元37中的讲话范围121和122,在视觉上将采取类似于他或她的行动和姿态的玩家所存在于其中的范围识别为讲话范围。
因此,由于可以在确认话语被传送到的伙伴之后进行讲话,并且可以在讲话时在确认话语被传送到哪方的同时讲话,因此可以减少用户在讲话时不知道话语被传送给谁的状态下讲话的不安。
<讲话范围的显示示例6>
接下来,将参照图9描述基于用户H的视线信息的讲话范围的显示示例6。
讲话范围控制单元31a基于视线信息指定讲话范围,并且将讲话范围显示为例如VR环境信息反馈显示栏101中的讲话范围121和图像P1中的讲话范围122。
更具体地,基于视线信息,讲话范围控制单元31a确定在图像P1中视线所指向的玩家,并且确定要被设置为用户H附近的讲话范围的玩家。
例如,在图9的情况下,讲话范围控制单元31a基于视线信息识别视线指向用户H附近的玩家91-2。
此时,例如,如图9的图像P1-1所示,讲话范围控制单元31a将讲话范围121显示在VR环境信息反馈显示栏101中。即,如图9的图像P1-1所示,在VR环境信息反馈显示栏101的讲话范围121中,包括以下交叉点的位置(下文中称为交叉点位置)以及指示玩家91-2被显示的位置的点91P-2的范围被显示为讲话范围121:VR环境信息反馈显示栏101的圆圈中水平方向的直线和竖直方向的直线的交叉点,其是用户H控制的玩家91-1的位置。
类似地,如图9的图像P1-1所示,讲话范围控制单元31a将指示用户H的玩家的位置的点和用户H的视线上的同伴玩家91-2所存在的范围显示为讲话范围122,并且还将指示视线被指向的标记103-1显示在玩家91-2上。
此外,如图9的图像P1-2所示,在经过预定时间,以便指示从视线被指向以来已经经过预定时间的情况下,讲话范围控制单元31a将指示视线被指向的标记103-2而不是标记103-1显示在玩家91-2上。
此外,如图9的图像P1-3所示,在经过预定时间,以便指示剩余时间是从视线被指向的时间到视线方向被确定的时间之间的3秒的情况下,讲话范围控制单元31a将指示视线被指向的标记103-3而不是标记103-2显示在玩家91-2上。
此外,如图9的图像P1-4所示,在已经过预定时间,以便指示剩余时间是从视线被指向的时间到视线方向被确定的时间之间的2秒的情况下,讲话范围控制单元31a将指示视线被指向的标记103-4而不是标记103-3显示在玩家91-2上。
此外,如图9的图像P1-5所示,在已经过预定时间,以便指示剩余时间是从视线被指向的时间到视线方向被确定的时间之间的1秒的情况下,讲话范围控制单元31a将指示视线被指向的标记103-5而不是标记103-4显示在玩家91-2上。
此外,如图9的图像P1-6所示,在已经过预定时间,以便指示视线方向被确定的情况下,讲话范围控制单元31a将指示视线被指向的标记103-6而不是标记103-5显示在玩家91-2上。
由于如上所述在图像P1中显示讲话范围121和122,因此用户H能够通过简单观看图像输出单元37中的讲话范围121和122来确定通过视线将目光接触传送到作为讲话范围的特定玩家。
因此,可以识别通过视线的提示(例如目光接触)是否被传送,并且可以通过视线确定讲话范围。
<讲话范围的显示示例7>
接下来,将参照图10描述基于另一玩家的视线信息的讲话范围的显示示例7。此处,通过参照图9描述的处理,存在如下示例:显示讲话范围,使得用户H能够识别目光接触是从同伴玩家指向用户H,并且在根据所传送的目光接触传送视线的情况下建立目光接触。例如,在图9的图像中,讲话范围控制单元31a控制通信单元35。包括视线信息的环境信息是从以下用户所佩戴的另一信息处理设备11传送的:所述用户控制视线所指向的玩家。
因此,讲话范围控制单元31a基于来自控制另一玩家的用户所佩戴的另一信息处理设备11的视线信息来指定讲话范围,并且将指示视线被传送的信息显示在例如图10的图像P1中。
更具体地,基于来自另一玩家的信息处理设备11的环境信息中所包括的视线信息,讲话范围控制单元31a确定图像P1中视线从哪个玩家指向,以及确定要被设置为用户H附近的讲话范围的玩家。例如,在图10的情况下,讲话范围控制单元31a基于另一玩家的视线信息识别来自玩家91-2的视线被指向。
如图10的图像P1-11所示,讲话范围控制单元31a将指示视线被指向的标记171-1显示在视线被指向的同伴玩家91-2上。
此外,如图10的图像P1-12所示,在经过预定时间,以便指示自从视线被指向以来所经过的时间的情况下,讲话范围控制单元31a将指示视线被指向的标记171-2而不是标记171-1显示在玩家91-2上。
此外,如图10的图像P1-13所示,在经过预定时间,以便指示自从视线被指向以来所经过的时间的情况下,讲话范围控制单元31a将指示视线被指向的标记171-3而不是标记171-2显示在玩家91-2上。
此外,如图10的图像P1-14所示,在经过预定时间,以便指示自从视线被指向以来所经过的时间的情况下,讲话范围控制单元31a将指示视线被指向的标记171-4而不是标记171-3显示在玩家91-2上。在标记171-4中描述了“看我”,并且在标记171-4中描述了指示标记171-4对应于目光接触的意图。
此外,如图10的图像P1-15所示,在用户H将他或她的视线转向标记171-4,以便指示建立目光接触的情况下,讲话范围控制单元31a显示指示能够确认与玩家91-2的目光接触的标记171-5,而不是标记171-4。标记171-5中描述了“目光接触”,并且标记171-5指示建立目光接触。另外,在该情况下,在作为伙伴的另一信息处理设备11中进行相似的显示。
此外,如图10的图像P1-16所示,在经过预定时间,以便指示能够确认目光接触并且确定讲话范围的情况下,讲话范围控制单元31a将讲话范围121显示在VR环境信息反馈显示栏101中。即,如图10的图像P1-16所示,在VR环境信息反馈显示栏101中,讲话范围控制单元31a显示包括交叉点位置(其指示用户H的玩家和玩家91-2的位置)和点91P-2的范围作为讲话范围121。类似地,如图10的图像P1-16所示,显示包括用户H的玩家91-1和玩家91-2的讲话范围122。
如上所述,由于通过执行参照图9描述的传送目光接触的处理和接收目光接触的处理来将讲话范围121和122显示在传送目光接触的玩家的相互图像P1中,传送目光接触的用户能够识别到建立与伙伴玩家的目光接触,并且通过简单地观看图像输出单元37中的讲话范围121和122来识别相互讲话范围。
因此,可以识别是否借助于简单指向视线的提示(例如目光接触)来进行通信,可以仅使用视线来确认讲话范围。例如,在建立目光接触之后,由于在已经建立目光接触的玩家内设置讲话范围,因此可以仅在已经建立目光接触的玩家之间实现对话。
另外,目光接触能够通过参照图9和图10描述的处理进行交换。然而,例如,对于足球、篮球等有必要立即交换目光接触,并且如上所述,不能承受花费几秒钟的目光接触的使用。
因此,代替于如上所述根据传送视线的时间来建立目光接触,即使是片刻,也可以在相互的视线满足预定条件的情况下建立目光接触。例如,在通过使用玩家的相互视线信息,指示相互视线方向的向量的内积小于预定值的情况下,可以认为相互视线方向彼此一致并且建立目光接触。
<根据确定讲话范围的情况来控制信息的传输的示例1>
接下来,参照图11,将描述根据通过上述处理确定讲话范围的情况来控制信息传输的示例1。
在通过上述处理确定讲话范围的状态下,在用户观看图像P1的同时H将接近的玩家视为例如敌人,并且存在诸如“敌人来了我怎么做”的话语的情况下,语音获取单元36收集并且获取所讲的语音作为语音,并且将语音作为语音数据提供给CPU 31。由CPU 31控制的讲话范围控制单元31a控制通信单元35以将语音数据传送到云服务器组12。
作为该处理的结果,在语音分析处理单元61获取语音数据的情况下,语音分析处理单元61在执行适合于分析的处理(诸如噪声去除处理)之后分析语音数据,将分析结果传送到信息处理设备11,并且将语音数据传送到语音识别单元62和情绪估计处理单元65。更具体地,语音分析处理单元61基于语音数据分析根据每个基频的比率的所讲语音的音高、根据每单位时间的音素数的讲话速度、音量以及存在或不存在语调。
语音识别单元62基于语音数据将语音识别为语言,将语音识别结果转换成例如文本数据,以及将文本数据提供给自然语言处理单元63和文本至语音单元66。
自然语言处理单元63将包括文本数据等的识别信息根据前后的上下文转换成自然语言,并且将文本数据作为转换结果提供给含义分析处理单元64。
含义分析处理单元64基于从自然语言处理单元63提供的转换结果来分析用户H的话语的含义,并且将作为分析结果的含义分析结果提供给情绪估计处理单元65。
情绪估计处理单元65基于从话语分析处理单元61提供的语音数据和含义分析处理单元64的分析结果来估计用户H的情绪,并且将情绪估计结果和含义分析结果传送到信息处理设备11。
文本至语音单元66基于通过文本数据获得的自然语言处理结果通过TTS生成合成语音,并且将合成语音传送到信息处理设备11。
传输控制单元31b基于情绪估计结果和自然语言处理结果识别讲话范围,并且将讲话范围显示为例如VR环境信息反馈显示栏101中的讲话范围121和图像P1中的讲话范围122。
另外,相对于图4至图10中显示的并且曾经由讲话范围控制单元31a确定的讲话范围121和122,可以说图11中显示的讲话范围121和122是当实际存在话语时由传输控制单元31b进一步缩小讲话范围而获得的讲话范围。
另外,基于作为自然语言处理结果的文本数据,例如,基于用户H的诸如“敌人来了我怎么做”的话语内容,传输控制单元31b将图像P1的上部的话语内容等显示在图像输出单元37中,如图11上部的显示栏M41所示。
此处,例如,在讲话范围121被显示在图11的上部的VR环境信息反馈显示栏101中,并且确定讲话范围121的情况下,例如在讲话的输入语音的音量大于预定值并且存在通过语音数据的诸如“请帮助体力恢复支持”的话语时,传输控制单元31b认为对在向后方向上存在的同伴玩家91-m和91-n讲话。因此,传输控制单元31b将包括与玩家91-m和91-n的位置对应的点91P-m和91P-n的讲话范围121-1显示在图11的下部。
如图11的显示栏M42所示,传输控制单元31b基于作为自然语言处理结果的文本数据,例如基于用户H的诸如“请帮助体力恢复支持”的话语内容来显示“请帮助体力恢复支持”。另外,此处,音量被设置为音量=50,并且例如在预定值被设置为音量=20的情况下,音量被指示为音量大于预定值。
另一方面,例如将讲话范围121显示在图11的上部的VR环境信息反馈显示栏101中,并且确定讲话范围121的情况下,例如,当通过讲话的输入语音的音量小于预定值并且存在通过语音数据的诸如“用步枪攻击”的话语时,传输控制单元31b认为对在向后方向上存在的同伴玩家91-2和91-3讲话。因此,传输控制单元31b将包括与玩家91-2和91-3的位置对应的点91P-2和91P-2的讲话范围121-2显示在图11的下部。
如图11的显示栏M43所示,传输控制单元31b基于作为自然语言处理结果的文本数据,例如基于用户H的诸如“用步枪攻击”的话语内容来显示“用步枪攻击”。另外,此处,音量被设置为音量=10,并且例如,在预定值被设置为音量=20的情况下,音量被指示为音量小于预定值。
此时,如虚线箭头所示,传输控制单元31b相对于与图11下部的VR环境信息反馈显示栏101中的讲话范围121-2中所包括的点91P-2和91P-3对应的图像P1上的玩家91-3和91-2来移动并且显示被显示为“用步枪攻击”的文本板191。
也就是说,如虚线箭头所示,被显示为“用步枪攻击”的文本板191通过图像P1上的玩家91-3到达玩家91-2。此时,文本板191仅被显示在对应的玩家91-3和91-2上,使得能够读取与文本板191相关联的信息。
显示文本板191使得如图11下部的图像P1所示文本板191被顺序地传阅并且按一次行程传送到玩家91。如上所述,可以通过在讲话范围中的玩家91之间移动文本板191来可靠地识别文本板191被传送到讲话范围中的玩家。也就是说,这是因为在文本板191被显示为使得文本板191同时从用户H控制的玩家91-1移动到多个玩家91的情况下,特别是在玩家数量巨大的情况下,存在以下顾虑:不可能识别从其传送文本板191的玩家,以及不可能识别文本板191被传送到的玩家。
利用上述处理,由讲话范围控制单元31a确定讲话范围,并且然后进行讲话。因此,传输控制单元31b确定信息被传送到的玩家、要传送的信息和传输方式(传输方法),并且通过确定的传输方法将要传送的所确定信息传送至信息要被传送到的所确定的玩家。
因此,由于在控制VR中的玩家的运动时,用户能够通过仅执行他或她自己的自然行为、姿态、话语和视线移动基于VR环境信息来确定适当的讲话范围,并且可以在识别确定的讲话范围的同时讲话,因此可以消除由不知道所讲内容被传送到谁而引起的不安。因此,可以轻松地讲话。
另外,在确定讲话范围之后,简单地通过在讲话范围内进行自然讲话来确定信息被传送到的玩家、要传送的信息以及传输方式(传输方法)。因此,可以通过根据话语而确定的传输方法,将根据话语而确定的要传送的信息传送到根据话语而确定的信息要被传送到的玩家。
<语音识别结果的显示示例1>
在所讲语音数据被识别为语音并且转换为对于讲话范围中的玩家的文本数据之后,此外作为通过自然语言处理获得的自然识别结果的文本数据例如由图12的文本板191(其包括例如三维文本)来表示的情况下,需要显示文本板191以便与传送伙伴相对。
例如,在图12的左侧部分所示的情况下,在VR中,当玩家H3讲出“让我们击败敌人”并且话语识别结果被表示为三维文本板T1时,在玩家H1和H2处于讲话范围内的情况下,传输控制单元31b显示文本板T1使得文本板T1从作为起点的玩家H3移动到玩家H1,如虚线箭头所示。
此时,由于文本板T1在从玩家H3移动到玩家H1时面向玩家H1和H3,因此玩家H1和H3能够在视觉上正确地识别文本板T1,并且玩家H1可以识别玩家H3讲的什么类型的内容。
另一方面,由于如图12的右上部分所示文本板T1不面向玩家H2,因此玩家H2可能不能正确识别文本板T1。
因此,在如图12的右下部分所示玩家H1和H2被包括在玩家H3的讲话范围中的情况下,显示三维文本板T2使得所有玩家H1至H3面对。
另外,在图12的右下部分中的左侧部分中,示出了从顶部看到的玩家H1至H3的布置,并且在图12的右下部分的右侧部分中,示出了:如虚线箭头所示相对于玩家H1移动的三维文本板T2的方向被计算和显示为使得所有玩家H1至H3能够从作为起点的玩家H3起在视觉上进行识别。
利用如图12所示的显示,由于玩家H1至H3能够从它们各自的位置在视觉上识别文本板T11,因此讲话范围中的所有玩家能够适当地识别在文本板上显示的内容。
<语音识别结果的显示示例2>
如图13的状态J1所示,在VR中存在玩家H1至H3,玩家H2讲出“让我们击败那个敌人”,并且玩家H1和H3被包括在讲话范围中的情况下,如状态J2所示,传输控制单元31b将通过识别所讲语音而获得的识别结果显示为文本板T11,使得文本板T11如虚线箭头所示在面向玩家H3的同时从玩家H2移动到玩家H3。接下来,如状态J3所示,传输控制单元31b显示文本板T11以便在面向玩家H1的同时从玩家H3移动到玩家H1。
由于在VR中玩家H1至H3通过诸如图13的状态J1至J3的显示从相应位置面向文本板T11,因此可以识别玩家H2所讲的“让我们击败那个敌人”的传输被传送到作为讲话范围中所包括的所有玩家的玩家H1和H3。
另外,如上所述,通过将一个文本板T11显示为按顺序传送到讲话范围中的多个玩家,而没有表示文本板T11被一次传送到多个玩家,因此玩家H2的用户H能够在通过观看图像输出单元37来识别讲话范围中的玩家的同时肯定地识别出讲话范围内用户H的话语内容被传送到的玩家。
另外,在上面的描述中,已经描述了与最新的一个话语有关的文本数据被作为文本板传送的示例,但是也可以以多个片段传送时间序列的话语内容。例如,如图13的状态J4所示,传输控制单元31b可以根据被描述为“让我们击败那个敌人”的文本板T12、被描述为“接下来做什么”的文本板T13以及被描述为“再见,各位”的文本板T14的定时,按时间顺序布置话语内容,使得响应于来自玩家H11的话语而传送话语内容。在图13的状态J4中,在最早的定时处发出与被描述为“再见,各位”的文本板T14对应的话语,接下来,发出与被描述为“接下来做什么”的文本板T13对应的话语,以及最后,发出与被描述为“让我们击败那个敌人”的文本板T12对应的话语。
<语音识别结果的显示示例3>
如图14的状态J11所示,在VR中存在玩家H1至H3,玩家H2讲出“让我们击败那个敌人”,并且仅玩家H3被包括在讲话范围中的情况下,如状态J12所示,传输控制单元31b将通过识别所讲语音而获得的识别结果显示为设置有针对玩家H1的障眼物的文本板T21,使得文本板T21如虚线箭头所示移动。此时,在玩家H3能够观看文本板T21的状态下并且玩家H1不能观看文本板T21的状态下将作为识别结果的文本板T21从玩家H2移动到玩家H1。
利用如图14所示的显示,玩家H2能够识别出作为话语内容的文本板T21,该文本板T21在VR中能够由讲话范围内的玩家H2和H3观看并且不能由玩家H1观看。也就是说,利用这样的显示,可以识别出自己的话语内容被传送到讲话范围中的玩家,以及自己的话语内容不被传送到讲话范围之外的玩家。
<语音识别结果的显示示例4>
如图15的状态J31所示,在VR中存在玩家H1至H5,玩家H2讲出“让我们击败那个敌人”,并且仅玩家H3和H5被包括在讲话范围中的情况下,如状态J32所示,传输控制单元31b显示通过识别所讲语音获得的识别结果,使得能够观看识别结果的玩家H3和H5被表示为围绕整体的玩家H3'和H5',并且作为识别结果的文本板T31通过引线连接。利用这样的显示,玩家H2可以识别出玩家H2所讲的内容能够被玩家H3和H5识别,并且不能被玩家H1和H4识别。
利用如图15所示的显示,可以在VR中识别出文本板T31能够被玩家H3和H5观看,并且不能被玩家H1观看。
另外,如状态J33所示,传输控制单元31b可以使不能在视觉上识别识别结果的玩家H1和H4看不见识别结果,并且将玩家H1和H4表示为玩家H1'和H4',并且显示作为识别结果的文本板T32。利用这样的显示,玩家H2可以识别出玩家H2所讲的内容能够被玩家H3和H5识别,并且不能被玩家H1和H4识别。
<讲话范围的解除>
在自从设置讲话范围以来经过预定时间段之后,讲话范围控制单元31a解除讲话范围。
也就是说,例如,如图16所示,在VR环境信息反馈显示栏101中设置讲话范围121(或讲话范围122)的情况下,讲话范围控制单元31a显示例如“锁定保持30秒”,并且显示其中显示了从设置定时起的剩余时间的显示栏201。另外,在已经过预定时间的情况下,讲话范围控制单元31a显示其中显示了指示解除的“解锁”的显示栏202,并且解除VR环境信息反馈显示栏101中的讲话范围121(或讲话范围122)。
利用这样的显示,用户可以识别出讲话范围121(或讲话范围122)被解除。
另外,在上面的描述中,已经描述了根据自从设置讲话范围121(或讲话范围122)以来经过的时间而解除讲话范围121(或讲话范围122)的示例。然而,可以通过另外的方法解除讲话范围121(或讲话范围122)。例如,当发出话语“解除范围”时,讲话范围控制单元31a可以解除讲话范围121。另外,在通过行为信息和姿态信息检测到诸如“摇头”和“保持视线远望”的特定姿势的情况下,讲话范围控制单元31a可以解除讲话范围121(或讲话范围122)。
<根据确定讲话范围的情况来控制信息传输的示例2>
接下来,参照图17,将描述根据通过上述处理确定讲话范围的情况来控制信息的传输的示例2。
在通过以上所述的处理确定讲话范围的情况下,当用户H观看图17的(与图7的图像P2对应的)图像P2时,语音获取单元36收集并且获取所讲话语作为语音,并且将语音作为语音数据提供给CPU 31。由CPU 31控制的讲话范围控制单元31a控制通信单元35,以将语音数据传送到云服务器组12。
作为该处理的结果,在语音分析处理单元61获取语音数据的情况下,语音分析处理单元61在执行适合于分析的处理(诸如噪声去除处理)之后分析语音数据,将分析结果传送到信息处理设备11,并且将语音数据传送到语音识别单元62和情绪估计处理单元65。更具体地,语音分析处理单元61基于语音数据分析根据每个基频的比率的所讲语音的音高、根据每单位时间的音素数的讲话速度、音量以及存在或不存在语调。
语音识别单元62基于语音数据将语音识别为语言,将语音识别结果转换成例如文本数据,以及将文本数据提供给自然语言处理单元63和文本至语音单元66。
自然语言处理单元63将包括文本数据等的识别信息根据前后的上下文转换为自然语言,并且将文本数据作为转换结果提供给含义分析处理单元64。
含义分析处理单元64基于从自然语言处理单元63提供的转换结果来分析用户H的话语的含义,并且将作为分析结果的含义分析结果提供给情绪估计处理单元65。
情绪估计处理单元65基于从话语分析处理单元61提供的语音数据和含义分析处理单元64的分析结果估计用户H的情绪,并且将情绪估计结果和含义分析结果传送到信息处理设备11。
文本至语音单元66基于由文本数据获得的自然语言处理结果通过TTS生成合成语音,并且将合成语音传送到信息处理设备11。
传输控制单元31b基于情绪估计结果和自然语言处理结果识别讲话范围,并且将讲话范围显示为例如VR环境信息反馈显示栏101中的讲话范围121和图像P2中的讲话范围122。
更具体地,基于自然语言处理结果,基于用户H的诸如“怎么了你还好吗”的话语内容,传输控制单元31b例如将图像P2的上部的话语内容等显示在图像输出单元37中,如图17的上部的显示栏M51所示。
此处,例如,在将讲话范围121显示在图17的上部中的VR环境信息反馈显示栏101中并且确定讲话范围121的情况下,例如在基于语音数据,输入语音的语音语调比情绪估计结果更多地附加时,传输控制单元31b确定作为基于语音检测到的情绪这是严重的,并且基于用户H对他或她的孩子的玩家151-4做出的诸如“不要一直哭了”的话语内容,将该话语内容显示在图像输出单元37中的图像P2的下部等,如显示栏M52所示。
另一方面,例如,在图17的下部中的VR环境信息反馈显示栏101中显示讲话范围121并且确定讲话范围121的情况下,例如,在基于语音数据,输入语音的语音的语调不被情绪估计结果附加时,传输控制单元31b确定作为通过语音分析的情绪这是轻松的,并且基于用户H对另外的人的孩子151-5做出的诸如“现在一切都好了”的话语内容,将该话语内容显示在图像输出单元37中的图像P2的下部等,例如如显示栏M53所示。
另外,在图17中,假设孩子的玩家151-4是由用户H控制的玩家151-0他或她的孩子,并且孩子的玩家151-5是由用户H控制的玩家151-0的另一人的孩子。
利用以上所述的处理,在由讲话范围控制单元31a确定讲话范围之后,进行讲话。因此,传输控制单元31b确定信息被传送到的玩家(例如,孩子的玩家151-4或151-5)、要传送的信息(例如,“不要一直哭了”或“现在一切都好了”)和传输方式(例如,传输方式:通过文本数据的显示例如显示栏M52或M53,或由“不要一直哭了”或“现在一切都好了”的自然语言处理结果生成的合成语音中的任何一个),并且通过预定传输方法将要传送的所确定的信息传送到信息要被传送到的所确定的玩家。
因此,由于当控制VR中的玩家的运动时用户能够通过仅执行他或她自己的自然行为、姿态、话语和视线移动考虑到VR环境信息来确定适当的讲话范围,并且可以在识别所确定的讲话范围的同时讲话,因此可以消除由不知道将所讲信息传送到谁而引起的不安。因此,可以轻松地讲话。
另外,在确定讲话范围之后,简单地通过在讲话范围内进行自然讲话来确定信息被传送到的玩家、要传送的信息以及传输方式(传输方法)。因此,可以通过根据话语而确定的传输方法,将根据话语而确定的要传送的信息传送给根据话语而确定的信息要被传送到的玩家。
<信息处理设备的控制处理>
接下来,将参照图18的流程图描述控制单元的控制处理。
在步骤S11中,讲话范围控制单元31a执行讲话范围确定处理,并且确定讲话范围。另外,稍后将参照图20的流程图详细描述讲话范围确定处理。
在步骤S12中,传输控制单元31b执行传输控制处理,并且将语音或文本传送到所确定的讲话范围。另外,稍后将参照图21的流程图详细描述传输控制处理。
通过以上所述的处理来确定讲话范围,并且针对讲话范围将根据用户H的话语内容的语音和文本板传送到讲话范围中的玩家。
<环境信息收集处理>
接下来,将参照图19的流程图描述环境信息收集处理。
在步骤S31中,VR环境信息获取单元39获取VR中的玩家或各种对象的VR环境信息,并且将VR环境信息提供给讲话范围控制单元31a。讲话范围控制单元31a将VR环境信息存储在存储单元33中。
在步骤S32中,行为信息获取单元40获取行为信息和姿态信息,并且将行为信息和姿态信息提供给讲话范围控制单元31a。讲话范围控制单元31a将行为信息和姿态信息存储在存储单元33中。
在步骤S33中,视线识别处理单元41识别用户H的视线信息,并且将视线信息提供给讲话范围控制单元31a。讲话范围控制单元31a将视线信息存储在存储单元33中。
在步骤S34中,语音获取单元36获取用户H的话语的语音作为语音数据,并且将语音数据提供给讲话范围控制单元31a。讲话范围控制单元31a将语音数据存储在存储单元33中。
在步骤S35中,讲话范围控制单元31a确定是否命令了处理的结束,并且在没有命令结束的情况下,处理返回到步骤S31并且重复相似处理。另外,在步骤S35中,命令了处理的结束,则处理结束。
通过以上所述的处理,作为环境信息的VR环境信息、行为信息、姿态信息、视线信息和语音数据(包括语音处理结果)被重复地获取,顺序更新到最新信息,并且存储在存储单元33中。
<讲话范围确定处理>
接下来,将参照图20的流程图描述讲话范围确定处理。
在步骤S51中,讲话范围控制单元31a通过重复参照图19的流程图所描述的环境信息收集处理来读取在存储单元33中存储的环境信息。
在步骤S52中,讲话范围控制单元31a分析所读取的环境信息。
在步骤S53中,讲话范围确定单元31a基于环境信息的分析结果确定讲话范围。
在步骤S54中,讲话范围控制单元31a通过通信单元35将所确定的讲话范围的信息通知给另一信息处理设备11,并且通过控制以下中的至少一个来呈现所确定的讲话范围的信息:振动单元34、图像输出单元37或语音输出单元38。
在步骤S55中,讲话范围控制单元31a通过通信单元35接收另一信息处理设备11的讲话范围的信息的通知,并且通过控制以下中的至少一个来呈现另一信息处理设备11的讲话范围:振动单元34、图像输出单元37或语音输出单元38。
通过以上所述的处理,用户H能够将讲话范围的信息呈现为他或她自己佩戴的信息处理设备11的玩家以及佩戴另一信息处理设备11的另一玩家的讲话范围的信息。因此,可以识别出他或她自己的讲话范围和讲话的另一玩家的讲话范围。另外,在图20的流程图中,已经描述了呈现他或她自己的讲话范围和另一玩家的讲话范围两者的示例,但是可以仅呈现他或她自己的讲话范围和另一玩家的讲话范围中之一。
更具体地,可以通过以上所述的处理确定图4至图10的讲话范围。
<传输控制处理>
接下来,将参照图21的流程图描述传输控制处理。此处,传输控制处理的前提是确定讲话范围。
在步骤S71中,传输控制单元31b控制语音获取单元36将用户H的话语获取为语音数据,并且控制通信单元35将所获取的语音数据传送到云服务器组12。
在步骤S72中,云服务器组12的语音分析处理单元61对语音数据执行噪声去除,直到语音识别处理和含义分析处理所需的音高,并且此后,例如,语音分析处理单元61基于语音数据分析语言种类(日语、法语、英语等)、根据每个基频的比率的所讲语音的音高、根据每单位时间的音素数的讲话速度、音量和存在或不存在语调。
在步骤S73中,语音识别单元62基于语音数据将语音识别为语言,将话语识别结果转换成例如文本数据,以及将文本数据提供给自然语言处理单元63和文本至语音单元66。自然语言处理单元63对包括文本数据等的话语识别结果执行转换,使得话语识别结果根据前后的上下文变为自然语言,并且将转换结果提供给含义分析处理单元64。
含义分析处理单元64基于所讲词(其是通过自然语言处理获得的语音识别结果)来分析含义,并且将含义分析结果传送到信息处理设备11。情绪估计处理单元65基于语音数据和含义分析结果来估计讲话用户的情绪,并且将情绪估计结果传送到信息处理设备11。
在步骤S74中,传输控制单元31b通过使用以下中的至少一个来确定在讲话范围内的玩家之中的信息要被传送到的玩家:语音数据、语音分析结果、自然语言处理结果、含义分析结果或情绪估计结果。
在步骤S75中,传输控制单元31b使用以下中的至少一个来确定要传送的信息:语音数据、语音分析结果、自然语言处理结果、含义分析结果或情绪估计结果。也就是说,传输控制单元31b确定例如用于传送以下中的任何一个的信息:预定用户的话语内容、警告声音、振动和合成语音。
在步骤S76中,传输控制单元31b通过使用以下中的至少一个来确定要传送的信息的传输方法:语音数据、语音分析结果、自然语言处理结果、含义分析结果或情绪估计结果。例如,传输控制单元31b确定话语识别结果等的显示方法。
在步骤S77中,传输控制单元31b通过所确定的传输方法来将所确定的信息通知给所确定的目标。
在步骤S78中,传输控制单元31b解除讲话范围。
通过以上所述的处理,通过以下中的任何一个来确定和通知玩家、要传送的信息和传输方法:由用户H讲出的语音数据、语音分析结果、意义分析结果或情绪估计结果,其中所述玩家的目标是通过讲话范围确定处理确定的讲话范围中存在的玩家。
更具体地,可以通过以上所述的处理,在确定讲话范围之后通过话语实现图11至图15的传输控制处理。
另外,通过应用这一点,例如,假设在VR中我方兵力中存在使用多种语言的同伴的情况下,当在移动时向在讲话范围内的附近同伴发出指令时,存在仅能用英语交流的玩家A和仅能用法语交流的玩家B的两个玩家,他或她仅能用日语发出指令,此外,玩家A的用户具有正常视力但有听力障碍,玩家B的用户具有视力障碍但有正常的听力。
在该情况下,当他或她通过日语的话语向两个人发出指令C时,指令C能够被转换成英语并且能够被传送到玩家A使得通过图像显示文本数据,并且指令C能够被转换成法语并且能够通过合成语音传送给玩家B。也就是说,根据话语内容,话语的目标被确定为玩家A或玩家B中的任何一个,要传送的信息被确定为英语的指令C或法语的指令C中的任何一个,并且传输方法被确定为通过图像显示文本数据来传送文本数据或通过合成语音传送话语内容中的任何一个。此时,可以在控制玩家的任何一个用户不需要知道他或她自己的障碍、使用语言等的状态下控制通信伙伴,而不损失在VR中的沉浸感并且不损害VR世界视图。
另外,例如,通过应用将以下状态显示为讲话范围的示例:在该状态中参照图9和图10描述的目光接触被交换,目光接触能够被传送到在VR中意图成为晚餐或派对上的商务伙伴的伙伴,并且能够在建立相互目光接触的时机实现与已建立目光接触的各方的商务会谈。在该情况下,由于讲话范围是已建立目光接触的各方,因此也可以进行高度机密的会谈。
此外,在上面的描述中,已经描述了VR中的讲话范围和传输控制。然而,在不使用通信设备就不能彼此通信的情况下,例如,在水下或外太空的情况下,也可以在真实空间中应用讲话范围和传输控制。
在任何情况下,在通过讲话范围确定处理基于环境信息确定作为目标的讲话范围、并且讲话范围被通知给用户之后,可以在确认讲话范围的同时讲话,并且这一点被通知给用户。此外,通过基于话语的传输控制处理,以更高的程度确定作为话语目标的玩家,确定要传送的信息和传输方法,并且通知该信息。
因此,在VR中的玩家之间的通信中,由于传输目的地或传输源是清楚的,因此可以在舒适的VR中实现玩家之间的通信。此外,可以区分直接消息和公共消息。此外,由于可以通过在传输目的地清楚的状态下讲话来执行通信,因此可以控制通信伙伴而不损失VR中的沉浸感并且不损害VR世界视图。
<通过软件执行的示例>
顺便提及,以上所述的一系列处理能够由硬件执行,但是以上所述的一系列处理也能够由软件执行。在一系列处理由软件执行的情况下,将在软件中包括的程序从记录介质安装到并入专用硬件中的计算机中,或者例如能够通过安装各种程序而执行各种功能的通用个人计算机中等等。
图22示出了通用个人计算机的配置示例。该个人计算机具有内置的中央处理单元(CPU)1001。输入和输出接口1005通过总线1004连接至CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003连接至总线1004。
输入单元1006、输出单元1007、存储单元1008以及通信单元1009连接至输入和输出接口1005,输入单元1006包括用户通过其输入操作命令的输入设备,例如键盘和鼠标,输出单元1007向显示设备输出处理操作屏幕或处理结果的图像,存储单元1008包括存储程序或各种数据的硬盘驱动器等,通信单元1009包括局域网(LAN)适配器等,并且通过由因特网表示的网络执行通信处理。另外,磁盘(包括柔性盘)、光盘(包括光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包括迷你盘(MD)、从诸如半导体存储器的可移除介质1011读取数据和向其写入数据的驱动器1010连接至输入和输出接口1005。
CPU 1001根据在ROM 1002中存储的程序或者从磁盘、光盘、磁光盘或诸如半导体存储器的可移除介质1011读取、被安装在存储单元1008中并且从存储单元1008加载到RAM1003中的程序来执行各种处理。RAM 1003还适当地存储用于CPU 1001执行各种处理所需的数据。
在如上所述配置的计算机中,CPU 1001经由输入/输出接口1005和总线1004将例如在存储单元1008中存储的程序加载到RAM 1003上,并且执行该程序,从而执行上述一系列处理。
例如,可以将要由计算机(CPU 1001)执行的程序记录并且设置在可移除介质1011中,该可移除介质1011是封装介质等。另外,可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质提供程序。
在计算机中,可以通过将可移除介质1011安装到驱动器1010上,经由输入/输出接口1005将程序安装到存储单元1008中。程序也可以由通信单元1009经由有线或无线传输介质接收,并且程序被安装到存储单元1008中。另外,程序可以预先安装到ROM 1002或存储单元1008中。
注意,要由计算机执行的程序可以是以本文中描述的顺序的时间序列按时间顺序执行处理的程序,或者可以是并行的或在必要的定时处(例如当调用处理时)执行处理的程序。
注意,图22中的CPU 1001与CPU 31对应。
此外,在本说明书中,系统具有多个结构元件(例如装置或模块(部件))的集合的含义,并且不考虑所有结构元件是否在同一壳体中。因此,系统可以是在单独的壳体中存储并且通过网络连接的多个装置,或者是多个模块被存储在单个壳体内的装置。
本公开内容的实施方式不限于以上所述的实施方式,并且在不脱离本公开内容的范围的情况下可以进行各种改变和修改。
例如,本公开内容可以采用云计算的配置,其中多个设备经由网络共享单个功能并且协作地执行处理。
此外,上述流程图中的每个步骤可以由单个设备执行或由多个设备共享和执行。
另外,当单个步骤包括多个处理时,在单个步骤中包括的多个处理可以由单个设备来执行或由多个设备共享和执行。
此外,本技术还可以如下配置。
<1>
一种信息处理设备,包括:
讲话范围确定单元,其基于环境信息,在玩家讲话时将能够识别所讲内容的另一玩家所存在于其中的范围确定为讲话范围。
<2>
根据<1>所述的信息处理设备,其中,讲话范围是能够基于玩家讲出的语音数据来识别信息的另一玩家所存在于其中的范围。
<3>
根据<1>或<2>所述的信息处理设备,其中,环境信息可以包括玩家的语音数据、行为信息、姿态信息、视线信息和周围环境信息。
<4>
根据<3>所述的信息处理设备,还包括:
语音数据获取单元,其获取玩家的话语作为环境信息中的语音数据,
其中讲话范围确定单元基于语音数据确定讲话范围。
<5>
根据<4>所述的信息处理设备,其中讲话范围确定单元基于语音数据的音高来确定讲话范围。
<6>
根据<4>的信息处理设备,其中讲话范围确定单元基于语音数据的讲话速度来确定讲话范围。
<7>
根据<3>所述的信息处理设备,还包括:
行为信息姿态信息获取单元,其获取环境信息中的行为信息和姿态信息,
其中讲话范围确定单元基于行为信息和姿态信息确定讲话范围。
<8>
根据<3>所述的信息处理设备,还包括:
视线信息获取单元,其获取环境信息中的视线信息,
其中讲话范围确定单元基于视线信息确定讲话范围。
<9>
根据<3>所述的信息处理设备,还包括:
周围环境信息获取单元,其获取环境信息中的周围环境信息,
其中讲话范围确定单元基于周围环境信息确定讲话范围。
<10>
根据<9>所述的信息处理设备,其中周围环境信息包括虚拟现实(VR)环境信息。
<11>
根据<10>所述的信息处理设备,还包括:
视线信息获取单元,其获取环境信息中的视线信息;以及
显示单元,其基于VR环境信息来显示VR空间,
其中,当基于视线信息,玩家的视线停留在VR空间中预定玩家所存的位置处达预定时间时,显示单元将表示视线停留的时间的视线停留标记显示在预定玩家被显示的位置上。
<12>
根据<11>所述的信息处理设备,其中,当基于视线信息,玩家的视线停留在由显示单元显示的、VR空间中另一玩家所存在的位置处达到比预定时间更长的时间时,讲话范围确定单元将另一玩家确定为讲话范围,并且
显示单元将指示通过视线确定讲话范围的标记显示在另一玩家被显示的位置上。
<13>
根据<12>所述的信息处理设备,其中,当讲话范围确定单元基于VR空间中另一玩家的视线信息通过另一玩家的视线而确定玩家在讲话范围内时,显示单元将接收视线停留标记显示在另一玩家被显示的位置上。
<14>
根据<13>所述的信息处理设备,其中,在能够基于VR空间中玩家的视线信息确认接收视线停留标记在视觉上被识别的情况下,讲话范围确定单元将另一玩家确定为讲话范围,并且
显示单元将表示建立目光接触的标记显示在另一玩家被显示的位置上。
<15>
根据<10>所述的信息处理设备,还包括:
显示单元,其基于VR环境信息显示VR空间;
语音数据获取单元,其获取玩家的话语作为环境信息中的语音数据;以及
传输控制单元,其基于由语音数据获取单元获取的语音数据来控制要向讲话范围中包括的哪个玩家执行传输,
其中传输控制单元将语音数据的语音识别结果作为文本显示在显示单元上,并且在讲话范围中存在多个玩家的情况下,传输控制单元按顺序依次向多个玩家中的每个玩家移动并显示文本。
<16>
根据<15>所述的信息处理设备,其中传输控制单元将能够在视觉上被讲话范围内的玩家识别、并且不能在视觉上被讲话范围之外的玩家识别的文本显示在显示单元上。
<17>
根据<1>至<16>中任一项所述的信息处理设备,其中通过图像、警告声音、警告振动和警告合成声音中的任何一个或者所述图像、所述警告声音、所述警告振动和所述警告合成声音的组合来向玩家呈现讲话范围。
<18>
一种信息处理方法,包括:
基于环境信息,在玩家讲话时将能够识别所讲内容的另一玩家所存在于其中的范围确定为讲话范围的步骤。
<19>
一种程序,所述程序使得计算机用作:
讲话范围确定单元,其基于环境信息,在玩家讲话时将能够识别所讲内容的另一玩家所存在于其中的范围确定为讲话范围。
参考符号列表
11、11-1至11-n 信息处理设备
12 云服务器组
31 CPU
31a 讲话范围控制单元
31b 传输控制单元
32 存储器
33 存储单元
34 振动单元
35 通信单元
36 语音获取单元
37 图像输出单元
38 语音输出单元
39 VR环境信息获取单元
40 行为信息获取单元
41 视线识别处理单元
61 语音分析处理单元
62 语音识别单元
63 自然语言处理单元
64 含义分析处理单元
65 情绪估计处理单元
66 文本至语音单元

Claims (17)

1.一种信息处理设备,包括:
讲话范围确定单元,所述讲话范围确定单元基于环境信息,在玩家讲话时确定讲话范围,其中,能够识别所讲内容的另一玩家存在于所述讲话范围中,在所述讲话范围之外的其它玩家不能识别所讲内容,
其中,所述环境信息包括所述玩家的语音数据,并且
其中,所述讲话范围确定单元基于所述语音数据的音高或讲话速度确定所述讲话范围。
2.根据权利要求1所述的信息处理设备,其中,所述讲话范围是能够基于所述玩家的语音数据识别信息的另一玩家所存在于其中的范围。
3.根据权利要求1所述的信息处理设备,其中,所述环境信息还包括所述玩家的行为信息、姿态信息、视线信息和周围环境信息。
4.根据权利要求3所述的信息处理设备,还包括:
语音数据获取单元,所述语音数据获取单元获取所述玩家的话语作为所述环境信息中的语音数据。
5.根据权利要求3所述的信息处理设备,还包括:
行为信息姿态信息获取单元,所述行为信息姿态信息获取单元获取所述环境信息中的行为信息和姿态信息,
其中,所述讲话范围确定单元基于所述行为信息和所述姿态信息确定所述讲话范围。
6.根据权利要求3所述的信息处理设备,还包括:
视线信息获取单元,所述视线信息获取单元获取所述环境信息中的视线信息,
其中,所述讲话范围确定单元基于所述视线信息确定所述讲话范围。
7.根据权利要求3所述的信息处理设备,还包括:
周围环境信息获取单元,所述周围环境信息获取单元获取所述环境信息中的周围环境信息,
其中,所述讲话范围确定单元基于所述周围环境信息确定所述讲话范围。
8.根据权利要求7所述的信息处理设备,其中,所述周围环境信息包括虚拟现实VR环境信息。
9.根据权利要求8所述的信息处理设备,还包括:
视线信息获取单元,所述视线信息获取单元获取所述环境信息中的视线信息;以及
显示单元,所述显示单元基于所述VR环境信息来显示VR空间,
其中,当基于所述视线信息,所述玩家的视线停留在所述VR空间中预定玩家所存在的位置处达预定时间时,所述显示单元将视线停留标记显示在所述预定玩家被显示的位置上,所述视线停留标记表示所述视线停留的时间。
10.根据权利要求9所述的信息处理设备,其中,当基于所述视线信息,所述玩家的视线停留在所述显示单元所显示的、所述VR空间中另一玩家所存在的位置处达到比预定时间更长的时间时,所述讲话范围确定单元将所述另一玩家确定为所述讲话范围,并且
所述显示单元将指示通过所述视线确定所述讲话范围的标记显示在所述另一玩家被显示的位置上。
11.根据权利要求10所述的信息处理设备,其中,当所述讲话范围确定单元基于所述VR空间中所述另一玩家的视线信息通过所述另一玩家的视线而确定所述玩家在所述讲话范围内时,所述显示单元将接收视线停留标记显示在所述另一玩家被显示的位置上。
12.根据权利要求11所述的信息处理设备,其中,在能够基于所述VR空间中所述玩家的视线信息确认所述接收视线停留标记在视觉上被识别的情况下,所述讲话范围确定单元将所述另一玩家确定为所述讲话范围,并且
所述显示单元将表示建立目光接触的标记显示在所述另一玩家被显示的位置上。
13.根据权利要求8所述的信息处理设备,还包括:
显示单元,所述显示单元基于所述VR环境信息来显示VR空间;
语音数据获取单元,所述语音数据获取单元获取所述玩家的话语作为所述环境信息中的语音数据;以及
传输控制单元,所述传输控制单元基于由所述语音数据获取单元获取的语音数据,控制要向所述讲话范围中包括的哪个玩家执行传输,
其中,所述传输控制单元将所述语音数据的语音识别结果作为文本显示在所述显示单元上,并且在所述讲话范围中存在多个玩家的情况下,所述传输控制单元按顺序依次向所述多个玩家中的每个玩家移动并显示所述文本。
14.根据权利要求13所述的信息处理设备,其中,所述传输控制单元将能够在视觉上被所述讲话范围内的玩家识别、并且不能在视觉上被所述讲话范围之外的玩家识别的文本显示在所述显示单元上。
15.根据权利要求1所述的信息处理设备,其中,通过图像、警告声音、警告振动和警告合成声音中的任何一个,或者通过所述图像、所述警告声音、所述警告振动和所述警告合成声音的组合来向所述玩家呈现所述讲话范围。
16.一种信息处理方法,包括:
基于环境信息,在玩家讲话时确定讲话范围的步骤,其中,能够识别所讲内容的另一玩家存在于所述讲话范围中,在所述讲话范围之外的其它玩家不能识别所讲内容,
其中,所述环境信息包括所述玩家的语音数据,并且
其中,基于所述语音数据的音高或讲话速度确定所述讲话范围。
17.一种存储程序的记录介质,所述程序在被执行时使得计算机执行方法,所述方法包括:
基于环境信息,在玩家讲话时确定讲话范围的步骤,其中,能够识别所讲内容的另一玩家存在于所述讲话范围中,在所述讲话范围之外的其它玩家不能识别所讲内容,
其中,所述环境信息包括所述玩家的语音数据,并且
其中,基于所述语音数据的音高或讲话速度确定所述讲话范围。
CN201880006672.XA 2017-01-18 2018-01-04 信息处理设备、信息处理方法和程序 Active CN110178125B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-006897 2017-01-18
JP2017006897 2017-01-18
PCT/JP2018/000016 WO2018135304A1 (ja) 2017-01-18 2018-01-04 情報処理装置、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN110178125A CN110178125A (zh) 2019-08-27
CN110178125B true CN110178125B (zh) 2023-05-02

Family

ID=62909296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880006672.XA Active CN110178125B (zh) 2017-01-18 2018-01-04 信息处理设备、信息处理方法和程序

Country Status (5)

Country Link
US (1) US11311803B2 (zh)
EP (1) EP3572947A4 (zh)
JP (1) JP7124715B2 (zh)
CN (1) CN110178125B (zh)
WO (1) WO2018135304A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7399623B2 (ja) * 2019-03-25 2023-12-18 株式会社バンダイナムコエンターテインメント ゲームシステム、プログラム及びゲーム装置
CN114253386A (zh) * 2020-09-11 2022-03-29 成都木帆科技有限公司 一种基于感知的通信系统
CN112764856A (zh) * 2021-01-20 2021-05-07 温州医科大学慈溪生物医药研究院 一种学术成果富媒体展示系统及其应用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136468A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法
JP2017000545A (ja) * 2015-06-12 2017-01-05 任天堂株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736982A (en) * 1994-08-03 1998-04-07 Nippon Telegraph And Telephone Corporation Virtual space apparatus with avatars and speech
JP3070719B2 (ja) 1995-07-05 2000-07-31 日本電信電話株式会社 仮想空間共有方法およびこの方法を実施する装置
US8210927B2 (en) * 2001-08-03 2012-07-03 Igt Player tracking communication mechanisms in a gaming machine
JP2005322125A (ja) * 2004-05-11 2005-11-17 Sony Corp 情報処理システム、情報処理方法、プログラム
US7491123B2 (en) * 2004-07-29 2009-02-17 Nintendo Co., Ltd. Video game voice chat with amplitude-based virtual ranging
EP2244797A4 (en) * 2008-01-17 2011-06-15 Vivox Inc SCALABLE TECHNIQUES FOR PROVIDING PER-AVATAR STREAMING DATA IN REAL TIME IN VR SYSTEMS WHICH USE PER AVATAR EXPORTED ENVIRONMENTS
US8605863B1 (en) 2008-03-18 2013-12-10 Avaya Inc. Method and apparatus for providing state indication on a telephone call
JP4743721B2 (ja) * 2008-07-17 2011-08-10 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、および方法
US9384469B2 (en) * 2008-09-22 2016-07-05 International Business Machines Corporation Modifying environmental chat distance based on avatar population density in an area of a virtual world
JP5296599B2 (ja) * 2009-05-08 2013-09-25 任天堂株式会社 ネットワークシステム,情報処理装置および情報処理プログラム
JP6001526B2 (ja) * 2010-04-01 2016-10-05 シーリアル テクノロジーズ ソシエテ アノニムSeereal Technologies S.A. ホログラムシステムにおける透過オブジェクトを含む3次元シーンを符号化する方法及び装置
EP3166319A4 (en) * 2014-07-03 2018-02-07 Sony Corporation Information processing device, information processing method, and program
JP6217682B2 (ja) 2015-03-27 2017-10-25 ブラザー工業株式会社 情報処理装置及びプログラム
CN105879390A (zh) * 2016-04-26 2016-08-24 乐视控股(北京)有限公司 虚拟现实游戏处理方法及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136468A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法
JP2017000545A (ja) * 2015-06-12 2017-01-05 任天堂株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
US11311803B2 (en) 2022-04-26
EP3572947A4 (en) 2020-01-15
EP3572947A1 (en) 2019-11-27
JP7124715B2 (ja) 2022-08-24
US20200122033A1 (en) 2020-04-23
WO2018135304A1 (ja) 2018-07-26
JPWO2018135304A1 (ja) 2019-11-21
CN110178125A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
US11398067B2 (en) Virtual reality presentation of body postures of avatars
US11100694B2 (en) Virtual reality presentation of eye movement and eye contact
US9223786B1 (en) Communication in a sensory immersive motion capture simulation environment
CN110178125B (zh) 信息处理设备、信息处理方法和程序
CN104823234A (zh) 利用深度成像扩充语音识别
CN103765879A (zh) 扩展激光深度图范围的方法
CN102903362A (zh) 集成的本地和基于云的语音识别
CN111583355B (zh) 面部形象生成方法、装置、电子设备及可读存储介质
CN108629241B (zh) 一种数据处理方法和数据处理设备
CN111670431B (zh) 信息处理装置、信息处理方法以及程序
JP2006338529A (ja) 会話構造推定方法
WO2021230180A1 (ja) 情報処理装置、ディスプレイデバイス、提示方法、及びプログラム
JP6969577B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6721727B1 (ja) 情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置
US20230300250A1 (en) Selectively providing audio to some but not all virtual conference participants reprsented in a same virtual space
US20240171704A1 (en) Communication support system, communication support apparatus, communication support method, and storage medium
WO2023058393A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112153461B (zh) 用于定位发声物的方法、装置、电子设备及可读存储介质
WO2023105653A1 (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム、および、ヘッドマウントディスプレイの表示方法
US11826648B2 (en) Information processing apparatus, information processing method, and recording medium on which a program is written
JP2018092635A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP7090116B2 (ja) プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法
WO2023058451A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2001228794A (ja) 会話情報提示方法及び没入型仮想コミュニケーション環境システム
Ishii et al. Evaluation of Superimposed Self-character Based on the Detection of Talkers’ Face Angles in Video Communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant