CN112567734A - 消息输出装置、学习装置、消息输出方法、学习方法和程序 - Google Patents

消息输出装置、学习装置、消息输出方法、学习方法和程序 Download PDF

Info

Publication number
CN112567734A
CN112567734A CN201880096535.XA CN201880096535A CN112567734A CN 112567734 A CN112567734 A CN 112567734A CN 201880096535 A CN201880096535 A CN 201880096535A CN 112567734 A CN112567734 A CN 112567734A
Authority
CN
China
Prior art keywords
learning
data
message
input data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880096535.XA
Other languages
English (en)
Inventor
浅山弘孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN112567734A publication Critical patent/CN112567734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种消息输出装置、学习装置、消息输出方法、学习方法和程序，其允许用户感觉似乎正在进行交流。输入单元(66)向通过使用学习数据进行学习获得的经学习的机器学习模型(50)输入目标输入数据，目标输入数据至少包括多个连续帧的目标图像，学习数据包括学习输入数据和教学数据，其中学习输入数据包括多个连续帧的学习图像，并且教学数据包括与学习输入数据相关联的消息。消息识别单元(68)根据当目标输入数据被输入到机器学习模型(50)时产生的输出来识别消息。消息输出单元(70)输出所识别的消息。

Description

消息输出装置、学习装置、消息输出方法、学习方法和程序
技术领域
本发明涉及消息输出装置、学习装置、消息输出方法、学习方法和程序。
背景技术
已知的技术通过允许共享诸如玩家和观众的用户发布的消息的字符串以及由此产生的消息的音频来促进交流，例如，在游戏的直播、体育观看等中。
发明内容
[技术问题]
这里，如果诸如玩家或观众的用户即使在他或她独自一人的情况下也能够感受到似乎正在进行上述交流，则存在这样的前景，即所述用户将享受游戏的直播、体育观看等。
鉴于上述问题设计了本发明，并且本发明的目的是提供一种消息输出装置、学习装置、消息输出方法、学习方法和程序，其允许用户感觉好像正在进行交流。
[问题的解决方案]
为了解决上述问题，根据本发明的消息输出装置包括经学习的机器学习模型、输入部分、消息识别部分和消息输出部分。经学习的机器学习模型是使用学习数据学习的，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息。输入部分向经学习的机器学习模型输入目标输入数据，所述目标输入数据包括目标图像的至少多个连续帧。消息识别部分根据当目标输入数据被输入到机器学习模型时产生的输出来识别消息。消息输出部分输出识别的消息。
在本发明的模式中，输入部分向机器学习模型输入在玩游戏时生成的目标输入数据，并且该目标输入数据至少包括表示所考虑的游戏的游戏状态的目标图像的多个连续帧，并且消息输出部分在游戏进行时输出所识别的消息。
在该模式中，学习输入数据还可以包括关于与学习图像相关联的玩家的信息，并且目标输入数据还可以包括关于正在玩游戏的玩家的信息。
这里，玩家信息可以包括关于由玩家所做出的控制器输入的信息。
在这种情况下，玩家信息可以包括表示控制器输入的频率的值。
另外，在该模式中，玩家信息可以包括玩家的捕获的面部图像。
另外，在本发明的模式中，学习输入数据包括与由教学数据表示的消息不同的消息，并且目标输入数据还包括已经从消息输出部分输出的消息。
另外，根据本发明的学习装置包括学习数据获取部分和学习部分。学习数据获取部分获取学习数据，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息。学习部分使用学习数据对机器学习模型进行学习。
本发明的模式还包括学习数据生成部分，该学习数据生成部分在表示正在传送或已经传送的游戏的传送状态的传送数据的基础上生成所述学习数据。
此外，根据本发明的消息输出方法包括：向经学习的机器学习模型输入目标输入数据的步骤，所述经学习的机器学习模型已经使用学习数据进行了学习，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息，所述目标输入数据包括所述目标图像的至少多个连续帧；根据当所述目标输入数据输入到所述机器学习模型时产生的输出来识别消息的步骤；以及输出识别的消息的步骤。
另外，根据本发明的学习方法包括获取学习数据的步骤，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息；以及使用所述学习数据对机器学习模型进行学习的步骤。
另外，根据本发明的程序使计算机执行：向经学习的机器学习模型输入目标输入数据的过程，所述经学习的机器学习模型已经使用学习数据进行了学习，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息，所述目标输入数据包括所述目标图像的至少多个连续帧；根据当所述目标输入数据输入到所述机器学习模型时产生的输出来识别消息的过程；以及输出识别的消息的过程。
另外，根据本发明的另一程序使计算机执行：获取学习数据的过程，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息；以及使用所述学习数据对机器学习模型进行学习的过程。
附图说明
图1是示出根据本发明实施例的娱乐系统的总体配置的示例的图。
图2是示出根据本发明实施例的娱乐装置的配置示例的图。
图3是示出游戏屏幕的示例的图。
图4是示出在根据本发明实施例的娱乐装置中实现的功能的示例的功能框图。
图5是示意性地示出学习数据的示例的图。
图6是示出由根据本发明实施例的娱乐装置进行的学习处理的流程的示例的流程图。
图7是示出由根据本发明实施例的娱乐装置处理的消息输出处理的流程的示例的流程图。
具体实施方式
下面将基于附图对本发明的实施例进行详细描述。
图1是示出根据本发明实施例的娱乐系统10的整体配置的示例的图。根据本实施例的娱乐系统10包括娱乐装置12、显示器14、相机16、麦克风18、控制器20等。
根据本实施例的娱乐装置12例如是诸如游戏机、DVD(数字多功能光盘)播放器或蓝光(注册商标)播放器之类的计算机。根据本实施例的娱乐装置12通过执行存储的游戏程序或记录在光盘上的游戏程序、再现内容或通过其他方式来生成视频和音频。然后，根据本实施例的娱乐装置12向显示器14输出表示生成的视频的视频信号和表示生成的音频的音频信号。
如图2所示，根据本实施例的娱乐装置12包括例如处理器30、存储部分32、通信部分34和输入/输出部分36。
处理器30是诸如CPU(中央处理单元)的程序控制设备，其根据安装在娱乐装置12中的程序进行操作。根据本实施例的处理器30还包括基于从CPU提供的图形命令和数据将图像绘制到帧缓冲区的GPU(图形处理单元)。
存储部分32是诸如ROM(只读存储器)或RAM(随机存取存储器)、硬盘驱动器等的存储元件。存储部32存储由处理器30等执行的程序。另外，根据本实施例的存储部分32具有GPU绘制图像的帧缓冲区。
通信部分34是诸如无线LAN(局域网)模块的通信接口。
输入/输出部分36是诸如HDMI(注册商标)(高清多媒体接口)端口或USB(通用串行总线)端口的输入/输出端口。
显示器14例如是液晶显示器，并且显示由从娱乐装置12提供的视频信号表示的视频。另外，显示器14输出由从娱乐装置12输出的音频信号表示的音频。
每个相机16例如是诸如数字相机的设备，其向娱乐装置12输出表示相机16周围外观的数据，例如对象的捕获图像。
每个麦克风18是获取周围音频并将表示音频的音频数据输出到娱乐装置12的设备。
娱乐装置12和显示器14例如经由HDMI电缆连接。娱乐装置12、相机16和麦克风18例如经由辅助(Auxiliary)电缆连接。
控制器20是用于向娱乐装置12进行操作输入的操作输入装置。用户可以通过按下方向键和按钮以及倾斜控制器20的操作杆来使用控制器20进行各种操作输入。然后，在本实施例中，控制器20向娱乐装置12输出与操作输入相关联的输入数据。另外，根据本实施例的控制器20包括USB端口。然后，控制器20可以通过用USB电缆连接到娱乐装置12，以有线方式向娱乐装置12输出输入数据。另外，根据本实施例的控制器20包括无线通信模块等，从而允许以无线方式向娱乐装置12输出输入数据。
另外，控制器20可以包括加速度传感器、压敏传感器、触摸板等。然后，控制器20可以向娱乐装置12发送表示包括在控制器20中的传感器的测量值的感测数据。
在本实施例中，例如，当娱乐装置12执行游戏程序时，生成表示游戏进行状态的视频和音频。然后，所述视频出现在所述游戏的玩家观看的显示器14上，而音频从显示器14输出。
图3是示出在本实施例中的显示器14上显示的游戏屏幕40的示例的图。在图3所示的示例中，作为表示游戏进行状态的帧图像的游戏状态图像42被布置在游戏屏幕40的左侧。另外，例如，在游戏屏幕40的右上角设置直播游戏进行状态的角色44的图像。然后，在右下角的消息区域46中显示表示根据游戏进行状态的消息的字符串，作为所述角色44所说的台词，并且从显示器14输出表示所述消息的音频。
然后，在本实施例中，例如，输出通过使用诸如神经网络或支持向量机的经学习的机器学习模型识别的消息。下面将描述根据本实施例的娱乐装置12的功能和由其执行的处理，重点是所述的机器学习模型的学习和使用所学习的机器学习模型的消息的输出。
图4是示出根据本实施例的娱乐装置12中整合的功能的示例的功能框图。应当注意，不需要在根据本实施例的娱乐装置12中实现图4所示的所有功能，并且可以实现除图4所示的功能以外的功能。
如图4所示，娱乐装置12在功能上包括例如机器学习模型50、传送数据获取部分52、学习数据生成部分54、学习数据存储部分56、学习数据获取部分58、学习部分60、目标输入数据生成部分62，目标输入数据获取部分64、输入部分66、消息识别部分68和消息输出部分70。
机器学习模型50主要由处理器30和存储部分32实现。传送数据获取部分52主要由处理器30和通信部分34实现。学习数据生成部分54、学习数据获取部分58、学习部分60、目标输入数据生成部分62、目标输入数据获取部分64、输入部分66和消息识别部分68主要由处理器30实现。学习数据存储部分56主要由存储部分32实现。消息输出部分70主要由处理器30和输入/输出部分36实现。
机器学习模型50、传送数据获取部分52、学习数据生成部分54、学习数据存储部分56、学习数据获取部分58和学习部分60的功能相当于对机器学习模型50进行学习的学习装置的功能。
机器学习模型50、目标输入数据生成部分62、目标输入数据获取部分64、输入部分66、消息识别部分68，消息输出部分70的功能相当于使用学习的机器学习模型50输出消息的消息输出装置的功能。
可以通过用处理器30执行已经安装在娱乐装置12(计算机)中的程序来实现上述功能，该程序包括与上述功能相对应的指令。该程序可经由诸如光盘、磁盘、磁带、磁光盘或闪存的计算机可读信息存储介质，或经由因特网或其它方式来提供。
在本实施例中，机器学习模型50例如是诸如神经网络或支持向量机的机器学习模型。
在本实施例中，传送数据获取部分52例如从游戏实况视频传送站点或其他站点获取表示正在传送或已经传送的游戏的传送状态的传送数据。
在本实施例中，如图5示意性地示出的，学习数据生成部分54生成例如学习数据80。这里，例如，可以基于由传送数据获取部分52获取的传送数据来生成学习数据80。
学习数据生成部分54从传送数据中提取出现的消息，所述消息包括由诸如玩家和观众的用户发布并显示在屏幕上的消息的字符串、由诸如玩家和观众的用户产生的音频消息等。所述的消息在下文中将被称为学习消息82。这里，例如，从前一个消息发生开始，在给定的时间内或更长时间内发生的消息可以被提取为学习消息82。另外，例如，从前一个消息发生开始，在给定的时间或更长时间内连续发生的给定数目的消息可以被提取为学习消息82。或者，例如，在给定的时间内发生的一系列消息可以被提取为学习消息82。
然后，学习数据生成部分54识别例如与提取的消息发生时的时间相当的帧。这里，例如，在提取多个消息的情况下，可以识别与第一消息发生时的时间相当的帧。我们在这里假设识别的帧号是“n”，然后，学习数据生成部分54从传送数据中提取帧号等于或大于(n-a+1)且等于或小于(n+b)的(a+b)个帧图像。以这种方式提取的帧图像在下文中将被称为学习图像84。
然后，学习数据生成部分54生成例如包括学习图像84的多个连续帧的学习数据80作为学习输入数据，并且包括提取的学习消息82作为教学数据。这里，学习数据生成部分54可以生成学习数据80，该学习数据80包括表示游戏进行状态的学习图像84的多个连续帧作为学习输入数据，并且包括提取的学习消息82作为教学数据。这里，例如，生成包括(a+b)个学习图像84的学习数据80作为学习输入数据。在该示例中，提取的学习消息82(包括在学习数据80中的教学数据)是包括在学习数据80中的消息，并且在显示学习图像84的(a+b)个连续帧的同时发出。然后，学习数据生成部分54将生成的学习数据80存储在学习数据存储部分56中。
应当注意，如稍后将描述的，包括在学习数据80中的教学数据可以包括表示当发布所述消息时的情绪的标签。
另外，包括在学习数据80中的教学数据可以包括表示是否已经发布消息的标签。
在这种情况下，学习数据生成部分54可以生成例如学习数据80，学习数据80包括学习图像84的多个连续帧作为学习输入数据、以及提取的学习消息82作为教学数据、以及表示消息的发布的标签作为教学数据。
另外，学习数据生成部分54可以从传送数据中提取多个帧图像(例如，(a+b)个帧图像)，而没有发布消息作为学习图像84。然后，学习数据生成部分54可以生成学习数据80，该学习数据80包括提取的学习图像84作为学习输入数据、以及表示没有发布消息的标签作为教学数据。
在本实施例中，学习数据存储部分56存储例如包括学习输入数据和教学数据的学习数据80。这里，学习输入数据可以包括学习图像84的多个连续帧。另外，教学数据可以包括与所述学习输入数据相关联的学习消息82(例如，在显示所述学习图像84时发布的学习消息82)。
在本实施例中，学习数据获取部分58获取例如存储学习数据存储部分56中的学习数据80。
学习部分60使用由学习数据获取部分58获取的学习数据80来对机器学习模型50进行学习。这里，例如，可以基于当包括在学习数据80中的学习输入数据被输入到机器学习模型50时产生的输出与包括在学习数据80中的教学数据之间的差来执行更新在机器学习模型50中设置的参数值的监督式学习。
在本实施例中，目标输入数据生成部分62生成例如包括目标图像的至少多个连续帧的目标输入数据。这里，目标输入数据生成部分62可以在游戏进行时生成包括表示游戏的游戏状态的目标图像的至少多个连续帧的目标输入数据。这里，我们假设，例如，正在显示的游戏状态图像42的帧号为“m”。在这种情况下，获取游戏状态图像42的最近显示的(a+b)帧，其帧号等于或大于(m-a-b+1)并且等于或小于m。然后，生成包括所述游戏状态图像42的(a+b)帧的作为目标图像的目标输入数据。
在本实施例中，目标输入数据获取部分64获取例如由目标输入数据生成部分62生成的目标输入数据。
在本实施例中，输入部分66例如将由目标输入数据获取部分64获取的目标输入数据输入到经学习的机器学习模型50。
在本实施例中，消息识别部分68例如根据当由目标输入数据获取部分64获取的目标输入数据被输入到学习的机器学习模型50时产生的输出来识别消息。
在本实施例中，消息输出部分70输出例如由消息识别部分68识别的消息。这里，消息输出部分70可以在游戏进行时输出所识别的消息。例如，例如，消息输出部分70可以在消息区域46中显示表示由消息识别部分68所识别的消息的字符串。此外，消息输出部分70可以基于由消息识别部分68识别的消息，通过使用音频合成技术来输出生成的音频。
在本实施例中，使用经学习的机器学习模型50输出根据游戏进行状态的消息，经学习的机器学习模型50已经学习了由诸如玩家和观众的用户发布的消息的字符串以及由此产生的消息的音频。因此，根据本实施例，即使在玩家独自玩的情况下，他或她也可以感觉到在玩游戏时好像正在进行交流。
应当注意，本发明不限于应用于向玩家输出消息。例如，本实施例可应用于根据游戏状态将消息输出到观看游戏视频的观众，或根据比赛状态将消息输出到观看体育比赛视频的观看者。在这些情况下，用户(如观众和观看者)还可以感觉到正在进行交流。
应当注意，在可以输入到机器学习模型50的图像的数目是固定的情况下，包括在学习输入数据中的学习图像84的数目和包括在目标输入数据中的目标图像的数目被要求是相同的给定数目。这里，在机器学习模型50是神经网络的情况下，取决于神经网络的类型，可以输入的图像帧的数目可以是可变的。在这种情况下，包括在多条学习数据80中的每一条中的学习图像84的数目和包括在目标输入数据中的目标图像的数目不必相同。
这里，上述传送数据可以包括，例如关于玩游戏的玩家的信息。所述的玩家信息可以例如从连接到游戏实况视频传送站点的娱乐系统10收集。然后，例如，学习数据生成部分54可以生成学习数据80，该学习数据80还包括与学习输入数据中的学习图像84相关联的玩家信息。然后，在这种情况下，目标输入数据生成部分62可以生成目标输入数据，该目标输入数据还包括关于玩游戏的玩家的信息。
包括在学习输入数据中的玩家信息可以包括例如关于由玩家做出的控制器输入的信息，例如关键日志数据。例如，学习数据生成部分54可以在显示包括在学习数据80中的学习图像84的多个帧的同时识别关于由玩家所做出的控制器输入的信息。然后，学习数据生成部分54可以生成学习数据80，该学习数据80还包括关于在学习输入数据中识别的控制器输入的信息。
在这种情况下，目标输入数据生成部分62可以在显示游戏状态图像42的多个最新帧(上述示例中的(a+b)帧)的同时生成目标输入数据，该目标输入数据还包括关于正在玩游戏的玩家的信息。例如，可以生成目标输入数据，该目标输入数据还包括关于在所述时间段内由玩游戏的玩家所做出的控制器输入的信息。
另外，例如，学习数据生成部分54可以在显示包含在学习数据80中的学习图像84的多个帧的同时，基于在所述时间段内的玩家控制输入信息来识别对控制器20做出的输入的频率。这里，例如，在所述的时间段期间向控制器20做出的每单位时间的输入的次数可以被识别为输入频率。然后，学习数据生成部分54可以生成学习数据80，该学习数据80还包括表示学习输入数据中的输入频率的值。
在这种情况下，目标输入数据生成部分62可以在显示游戏状态图像42的多个最近帧的同时，基于所述时间段内的玩家控制输入信息识别对控制器20做出的输入的频率。然后，学习数据生成部分54可以生成目标输入数据，该目标输入数据还包括表示所述的输入频率的值。
此外，玩家的面部图像(作为由相机16捕获的玩家的面部图像)例如可以包括在学习输入数据中包括的玩家信息中，例如，学习数据生成部分54可以生成学习数据80，该学习数据80还在学习输入数据中包括在显示学习数据80中包括的多帧学习图像84的同时捕获的玩家的面部图像。
在这种情况下，目标输入数据生成部分62可以生成目标输入数据，该目标输入数据还包括在显示游戏状态图像42的多个最近帧的同时由相机16捕获的玩家面部图像。
另外，学习输入数据中包括的玩家信息可以包括例如在显示学习数据80中包括的学习图像84的多个帧的同时表示控制器20中包括的传感器的测量值的感测数据。这里，如上所述，所述传感器可以是加速度传感器、压敏传感器、触摸板等。另外，如上所述，所述感测数据可以从控制器20发送到娱乐装置12。在这种情况下，目标输入数据生成部分62可以生成目标输入数据，该目标输入数据还包括在显示游戏状态图像42的多个最近帧的同时表示控制器20中包括的传感器的测量值的感测数据。
另外，例如，在穿戴了头戴式显示器(HMD)的情况下玩的游戏中的所述玩家信息可以包括感测数据，该感测数据可以从HMD获取的并且表示诸如包括在HMD中的视线传感器或加速度传感器的传感器的测量值。例如，可以生成学习数据80，该学习数据80在学习输入数据中还包括在显示学习数据80中包括的学习图像84的多个帧的同时从HMD获取的感测数据。在这种情况下，目标输入数据生成部分62可以生成目标输入数据，该目标输入数据还包括在显示游戏状态图像42的多个最近帧的同时从HMD获取的感测数据。
例如，如上所述获得的玩家信息在游戏状态是空闲的情况和游戏状态是紧急的情况之间可能是不同的。具体地，例如，在游戏状态为紧急的情况下，对控制器20的输入的频率可能高于在游戏状态为空闲的情况下的输入频率。另外，例如，控制器20、视线和HMD在游戏状态为紧急的情况下可能比在游戏状态为空闲的情况下更剧烈地移动。另外，例如，在游戏状态是空闲的情况和游戏状态是紧急的情况之间，玩家的面部表情是不同的。因此，玩家信息很可能与要输出的消息相对应。为此，例如，有一种前景是，通过使用上述玩家信息来对机器学习模型50进行学习，机器学习模型50将输出更准确的信息。
另外，学习输入数据可以包括不同于包括在学习数据80中的学习消息82的消息作为教学数据。这里，例如，学习数据生成部分54可以识别从作为教学数据包括在学习数据80中的学习消息82出现之前的给定时间段到所述的学习消息82出现的时间段出现的消息。然后，学习数据生成部分54可以生成学习数据80，该学习数据80还包括在学习输入数据中识别的消息。在这种情况下，目标输入数据生成部分62可以生成目标输入数据，该目标输入数据还包括从早先的给定时间段直到当前时间从消息输出部分70输出的消息。
消息通常是响应于比所述消息更早发布的消息发布的。因此，例如，有一种前景是，可以从机器学习模型50输出更准确的消息，例如，通过使用与所述的消息不同的消息(诸如发生在所述的消息之前的消息)来对机器学习模型50进行学习。
另外，学习输入数据可以包括表示正在玩的游戏的标题或类型的数据。在这种情况下，目标输入数据生成部分62可以生成目标输入数据，该目标输入数据包括表示正在玩的游戏的标题或类型的数据。
另外，如上所述，在包括在学习数据80中的教学数据包括表示情绪的标签的情况下，消息识别部分68基于来自经学习的机器学习模型50的输出来识别情绪。然后，消息输出部分70可以根据所识别的情绪输出消息。例如，可以输出表示所识别情绪的音频。此外，例如，可以显示以根据所识别的情绪的方式移动的角色44。
这里，例如，学习数据生成部分54可以基于上述玩家信息来估计情绪。然后，学习数据生成部分54可以生成学习数据80，该学习数据80还包括表示教学数据中的估计情绪的标签。
这里，将参照图6所示的流程图，给出对由根据本实施例的娱乐装置12进行的对机器学习模型50进行学习的学习处理的流程的示例的描述。我们在这里假设多条学习数据80被存储在学习数据存储部分56中。
首先，学习数据获取部分58从存储在学习数据存储部分56中的学习数据80中获取尚未用于对机器学习模型50进行学习的一条数据(S101)。
然后，学习部分60使用在S101的处理中获取的学习数据80来对机器学习模型50进行学习(S102)。
然后，学习部分60确认存储在学习数据存储部分56中的所有学习数据80是否经过了S102中的处理(S103)。
这里，在确认存储在学习数据存储部分56中的所有学习数据80尚未都经过S102中的处理(S103中的否)的情况下，处理返回到步骤S101中的处理。
在确认存储在学习数据存储部分56中的所有学习数据80都已经经历了S102中的处理(S103中的是)的情况下，终止本处理示例中所示的处理。
下面将参照图7所示的流程图，给出对由根据本实施例的娱乐装置12使用经学习的机器学习模型50进行的消息输出处理的示例的描述。在本处理示例中，假设以显示游戏状态图像42的帧速率重复S201至S206中的处理。
首先，目标输入数据生成部分62生成所述帧中的目标输入数据(S201)。
然后，目标输入数据获取部分64获取在S201的处理中生成的目标输入数据(S202)。
然后，输入部分66将在S202中的处理中获取的目标输入数据输入到经学习的机器学习模型50(S203)。
然后，消息识别部分68根据S203中的处理中的输入，基于机器学习模型50的输出来识别要输出的消息(S204)。这里可以做出关于是否如上所述出现了情绪或消息的确定结果。
然后，消息识别部分68确认在S204中的处理中是否识别了消息(S205)。在确认消息未被识别的情况下(S205中为否)，处理返回到步骤S201中的处理。在确认消息已被识别的情况下(S205中的是)，消息输出部分70输出在S204中的处理中识别的消息(S206)，并且处理返回到步骤S201中的处理。这里，根据所识别的情绪的输出可以如上所述被输出。此外，可以做出关于消息是否已经出现的确定结果。
在上述处理示例中，例如，在游戏状态图像42的第一帧号为“0”、同时显示帧号等于或大于0且等于或小于(a+b-2)的游戏状态图像42的情况下，可以不执行上述处理。
另外，不需要像上述处理示例中那样每帧重复S201到S206中的处理。例如，可以随机地或以给定的时间间隔执行S201到S206中的处理。
应当注意，本发明不限于上述实施例。
另外，上述特定字符串和数字以及附图中的上述特定字符串和数字是说明性的，并且本发明不限于此。

Claims (13)

1.一种消息输出装置，包括：
经学习的机器学习模型，所述经学习的机器学习模型已使用学习数据进行学习，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息；
输入部分，适于向所述经学习的机器学习模型输入目标输入数据，所述目标输入数据包括目标图像的至少多个连续帧。
消息识别部分，适于根据当所述目标输入数据被输入到所述机器学习模型时产生的输出来识别消息；以及
消息输出部分，适于输出所识别的消息。
2.根据权利要求1所述的消息输出装置，其中
所述输入部分向所述机器学习模型输入所述目标输入数据，所述目标输入数据是在玩游戏的同时生成的，并且包括表示所述游戏的游戏状态的目标图像的至少多个连续帧，并且
所述消息输出部分在所述游戏进行的同时输出所识别的消息。
3.根据权利要求2所述的消息输出装置，其中
所述学习输入数据还包括关于与所述学习图像相关联的玩家的信息，并且
所述目标输入数据还包括关于正在玩所述游戏的所述玩家的信息。
4.根据权利要求3所述的消息输出装置，其中
所述玩家信息包括关于由所述玩家做出的控制器输入的信息。
5.根据权利要求4所述的消息输出装置，其中
所述玩家信息包括表示控制器输入的频率的值。
6.根据权利要求3至5中任一项所述的消息输出装置，其中
所述玩家信息包括所述玩家的捕获的面部图像。
7.根据权利要求1至6中任一项所述的消息输出装置，其中
所述学习输入数据还包括与由所述教学数据表示的所述消息不同的消息，并且
所述目标输入数据还包括已经从所述消息输出部分输出的消息。
8.一种学习装置，包括：
学习数据获取部分，适于获取学习数据，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息；以及
学习部分，适于使用所述学习数据对机器学习模型进行学习。
9.根据权利要求8所述的学习装置，还包括：
学习数据生成部分，适于在表示正在传送或已经传送的游戏的传送状态的传送数据的基础上生成所述学习数据。
10.一种消息输出方法，包括：
向经学习的机器学习模型输入目标输入数据的步骤，所述经学习的机器学习模型已经使用学习数据进行了学习，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息，所述目标输入数据包括所述目标图像的至少多个连续帧；
根据当所述目标输入数据输入到所述机器学习模型时产生的输出来识别消息的步骤；以及
输出所识别的消息的步骤。
11.一种学习方法，包括：
获取学习数据的步骤，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息；以及
使用所述学习数据对机器学习模型进行学习的步骤。
12.一种程序，使计算机执行：
向经学习的机器学习模型输入目标输入数据的过程，所述经学习的机器学习模型已经使用学习数据进行了学习，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息，所述目标输入数据包括所述目标图像的至少多个连续帧；
根据当所述目标输入数据输入到所述机器学习模型时产生的输出来识别消息的步骤；以及
输出所识别的消息的步骤。
13.一种程序，使计算机执行：
获取学习数据的过程，所述学习数据包括学习输入数据和教学数据，所述学习输入数据包括学习图像的多个连续帧，所述教学数据包括与所述学习输入数据相关联的消息；以及
使用所述学习数据对机器学习模型进行学习的过程。
CN201880096535.XA 2018-08-20 2018-08-20 消息输出装置、学习装置、消息输出方法、学习方法和程序 Pending CN112567734A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/030658 WO2020039476A1 (ja) 2018-08-20 2018-08-20 メッセージ出力装置、学習装置、メッセージ出力方法、学習方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112567734A true CN112567734A (zh) 2021-03-26

Family

ID=69591935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096535.XA Pending CN112567734A (zh) 2018-08-20 2018-08-20 消息输出装置、学习装置、消息输出方法、学习方法和程序

Country Status (4)

Country Link
US (1) US11711328B2 (zh)
JP (1) JP7014913B2 (zh)
CN (1) CN112567734A (zh)
WO (1) WO2020039476A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7093025B2 (ja) * 2020-06-12 2022-06-29 株式会社カプコン コンピュータシステム、および音声情報の生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090093305A1 (en) * 2007-10-09 2009-04-09 Nintendo Co., Ltd. Storage medium storing a load detecting program and load detecting apparatus
JP2017182603A (ja) * 2016-03-31 2017-10-05 株式会社バンダイナムコエンターテインメント プログラム及びコンピュータシステム
JP6337183B1 (ja) * 2017-06-22 2018-06-06 株式会社ドワンゴ テキスト抽出装置、コメント投稿装置、コメント投稿支援装置、再生端末および文脈ベクトル計算装置
CN108292368A (zh) * 2015-11-17 2018-07-17 索尼公司 信息处理装置、信息处理方法和程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4077801A (en) 1977-05-04 1978-03-07 Abex Corporation Iron-chromium-nickel heat resistant castings
JP5427343B2 (ja) * 2007-04-20 2014-02-26 任天堂株式会社 ゲームコントローラ
US8430750B2 (en) * 2008-05-22 2013-04-30 Broadcom Corporation Video gaming device with image identification
JP5271121B2 (ja) * 2009-03-09 2013-08-21 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP5433545B2 (ja) 2010-09-30 2014-03-05 株式会社東芝 顔認証を利用した情報処理方法および情報表示装置
JP5250132B1 (ja) 2012-05-16 2013-07-31 株式会社コナミデジタルエンタテインメント ゲーム管理装置、ゲームシステム、ゲーム管理方法及びプログラム
JP6033697B2 (ja) * 2013-02-01 2016-11-30 株式会社Ｎｔｔドコモ 画像評価装置
JP6320707B2 (ja) 2013-08-27 2018-05-09 株式会社タイトー ゲーム装置
JP2015211290A (ja) * 2014-04-24 2015-11-24 株式会社ドワンゴ 候補抽出装置、コメント配信システム、候補抽出方法及びプログラム
JP6809802B2 (ja) 2016-03-30 2021-01-06 株式会社バンダイナムコエンターテインメント プログラム及びサーバシステム
JP6154516B1 (ja) * 2016-05-17 2017-06-28 株式会社ドワンゴ コメント配信装置、ゲームサーバ装置、コメント配信方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090093305A1 (en) * 2007-10-09 2009-04-09 Nintendo Co., Ltd. Storage medium storing a load detecting program and load detecting apparatus
CN108292368A (zh) * 2015-11-17 2018-07-17 索尼公司 信息处理装置、信息处理方法和程序
JP2017182603A (ja) * 2016-03-31 2017-10-05 株式会社バンダイナムコエンターテインメント プログラム及びコンピュータシステム
JP6337183B1 (ja) * 2017-06-22 2018-06-06 株式会社ドワンゴ テキスト抽出装置、コメント投稿装置、コメント投稿支援装置、再生端末および文脈ベクトル計算装置

Also Published As

Publication number Publication date
JPWO2020039476A1 (ja) 2021-05-13
WO2020039476A1 (ja) 2020-02-27
JP7014913B2 (ja) 2022-02-01
US20210245063A1 (en) 2021-08-12
US11711328B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
US11281709B2 (en) System and method for converting image data into a natural language description
JP7253570B2 (ja) 遠隔ユーザ入力に基づく文脈インゲーム要素認識、注釈及び対話
US20150097767A1 (en) System for virtual experience book and method thereof
US8958686B2 (en) Information processing device, synchronization method, and program
CN109416562B (zh) 用于虚拟现实的装置、方法和计算机可读介质
CN111182358B (zh) 视频处理方法、视频播放方法、装置、设备和存储介质
CN102883784B (zh) 提供触控游戏的方法、装置及记录媒体
CN110868554B (zh) 直播中实时换脸的方法、装置、设备及存储介质
CN111988670B (zh) 视频播放方法及装置、电子设备和计算机可读存储介质
CN113490004B (zh) 一种直播互动方法及相关装置
CN105983233A (zh) 游戏历程记录装置、游戏历程记录方法及游戏历程互动方法
US8845429B2 (en) Interaction hint for interactive video presentations
CN112567734A (zh) 消息输出装置、学习装置、消息输出方法、学习方法和程序
WO2020003670A1 (ja) 情報処理装置、および情報処理方法
JP7285349B2 (ja) メッセージ出力装置、メッセージ出力方法及びプログラム
CN106571108A (zh) 一种具备语音交互功能的广告机
TW202107248A (zh) 電子裝置與其畫面視角辨識方法
CN109361958A (zh) 多语字幕制作方法、装置、介质及电子设备
WO2022239117A1 (ja) 情報処理装置、コンテンツ表示システム、コンテンツ表示方法
CN220323906U (zh) 营销系统
CN113975804A (zh) 虚拟控件显示方法、装置、设备、存储介质及产品
CN117242498A (zh) 使用机器学习从视频帧中识别控制器动作
CN116212362A (zh) 历史与民族文化互动式体验游戏系统、控制方法及介质
US20190392867A1 (en) Recording device, recording method, reproducing device, reproducing method, and recording/reproducing device
CN113282170A (zh) 虚拟现实及ai识别英语学习系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination