CN107688449B - 用于显示辅助信息的伴随显示模块及其处理方法 - Google Patents

用于显示辅助信息的伴随显示模块及其处理方法 Download PDF

Info

Publication number
CN107688449B
CN107688449B CN201710655005.1A CN201710655005A CN107688449B CN 107688449 B CN107688449 B CN 107688449B CN 201710655005 A CN201710655005 A CN 201710655005A CN 107688449 B CN107688449 B CN 107688449B
Authority
CN
China
Prior art keywords
audio
based data
computer
electronic device
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710655005.1A
Other languages
English (en)
Other versions
CN107688449A (zh
Inventor
李毅绚
张志坚
徐峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Creative Technology Ltd
Original Assignee
Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Creative Technology Ltd filed Critical Creative Technology Ltd
Publication of CN107688449A publication Critical patent/CN107688449A/zh
Application granted granted Critical
Publication of CN107688449B publication Critical patent/CN107688449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)

Abstract

本发明涉及用于显示辅助信息的伴随显示模块及其处理方法。提供了一种可以与计算机一起操作的电子设备。计算机可被配置为运行/执行可以与基于图形的数据和基于音频的数据相关联的程序。计算机可包括可被配置为根据基于图形的数据来显示信息的主显示屏。电子设备可包括可被配置为显示辅助信息的显示模块。由显示模块而非主显示器显示的辅助信息是根据基于音频的数据可导出的。

Description

用于显示辅助信息的伴随显示模块及其处理方法
技术领域
本公开总体涉及具有用于显示信息的主显示屏的计算机和具有相对于主显示屏的伴随显示模块的电子设备，该伴随显示模块显示主显示屏未显示的辅助信息。
背景技术
通常，在游戏中，在其上玩游戏的计算机在玩家玩游戏时显示基于游戏的图形。
随着游戏变得更加复杂，所显示的图形通常变得更加详细。此外，当玩家通过控制游戏角色玩游戏时，可以理解，计算机屏幕通常显示与受控游戏角色相关的图形。这类相关图形例如包括当游戏角色移动时的变化场景和/或与受控游戏角色相关的动作。
然而，可以理解，在同一时间，玩家控制的游戏角色的活动被显示在计算机屏幕上，而可能由计算机控制的和/或由另一玩家(例如，在大型多人在线角色扮演游戏情况下)控制的游戏中的其他角色的活动不一定是经由计算机屏幕视觉可感知的。例如，其他角色(即，除上述玩家控制的游戏角色之外的角色)可以在背景中移动，并且不出现在当前时间点上述玩家控制的游戏角色所出现的场景中。具体地，其他角色不一定与玩家控制的游戏角色出现在相同的场景中。因此，很遗憾，玩家可能感兴趣的这些其他角色的活动(例如，移动)在玩家控制的游戏角色被显示的当前时间点可能不是经由计算机屏幕视觉可感知的。
因此，由于计算机屏幕适当地提供用于复杂游戏(例如，大型多人在线角色扮演游戏)的显示的能力可能是有限的，所以可能影响游戏体验。
因此，期望提供解决上述问题的解决方案。
发明内容
根据本公开的一个方面，提供了一种可以与计算机一起操作的电子设备。计算机可被配置为运行/执行可以与基于图形的数据和基于音频的数据相关联的程序。
计算机可包括可被配置为根据基于图形的数据来显示信息的主显示屏。
电子设备可包括可被配置为显示辅助信息的显示模块(例如，补充显示屏)。
辅助信息可以与经由主显示屏正被显示的信息相关。此外，主显示屏未显示这类辅助信息。具体地，在主显示屏根据基于图形的数据来显示上述信息的同一时间点，辅助信息经由主显示屏不是视觉可感知的。此外，可以根据基于音频的数据来导出显示模块而非主显示屏所显示的辅助信息。
在一个实施例中，经由显示模块显示的辅助信息与感兴趣的对象有关。感兴趣的对象可以与经由计算机听觉可感知的音频数据相关联。基于图形的数据例如可以与环境以及与环境中的感兴趣的对象的大致位置相关联的辅助信息相关联。此外，与感兴趣的对象相关联的基于音频的数据对应于与感兴趣的对象相关联的音效。
根据本公开的另一方面，提供了一种与可包括计算机和电子设备的系统相关联的处理方法。计算机可被配置为与电子设备进行信号通信。
处理方法可包括选择步骤和标识步骤，在选择步骤中，计算机的用户选择感兴趣的对象，并且在标识步骤中，在计算机处标识与所选的感兴趣的对象相关联的基于音频的数据。
处理方法还可包括导出步骤，其中，在计算机处基于所标识的基于音频的数据来生成补充信号。
此外，处理方法可包括传输步骤和输出步骤，在传输步骤中，将所生成的补充信号从计算机传送到电子设备，并且在输出步骤中，处理接收到的补充信号以生成经由电子设备而非计算机视觉可感知的至少一个视觉提示。
附图说明
以下参考下列附图描述了本公开的实施例，其中：
图1a示出了根据本公开的实施例的可包括可以与电子设备进行通信的计算机的系统；
图1b更详细地示出了根据本公开的实施例的图1a的计算机和电子设备；
图1c示出了根据本公开的实施例的示例场景，其中，图1a的计算机可以是游戏笔记本电脑，并且图1a的电子设备104可以是智能电话；以及
图2示出了根据本公开的实施例的与图1a的系统相关联的处理方法的流程图。
具体实施方式
以下参考图1和图2描述了用于解决上述(一个或多个)问题的本公开的代表性的实施例。
具体地，本公开涉及具有显示模块的电子设备，该显示模块能够用作例如互补显示器。电子设备可以与具有屏幕的计算机一起操作。在这方面，计算机的屏幕可被视为主显示屏，并且电子设备的显示模块可被视为例如相对于主显示屏的补充显示器。补充显示器可以是例如补充显示屏的形式，其可被视为相对于主显示屏的互补显示屏。优选地，电子设备是可被配置为经由其显示模块来显示相对于主显示屏正在显示的信息的辅助信息的便携式设备。因此，显示模块可以显示关于主显示屏正在显示的信息的辅助信息。优选地，这类辅助信息未由主显示屏显示/不是经由主显示屏视觉可感知的，并且可以通过经由计算机听觉可感知的基于音频的数据来导出，如下文将参考图1和图2所讨论的。
图1a示出了根据本公开的实施例的系统100。系统100可包括适于游戏的计算机102(例如，智能电话、平板电脑、笔记本电脑、台式计算机)。系统100还可包括电子设备104(例如，智能电话、平板电脑、笔记本电脑、诸如鼠标之类的定点设备、键盘、或类似于计算机102的另一计算机)。计算机102可被耦合到电子设备104以使得计算机102可以与电子设备104进行通信。计算机102和电子设备104之间的耦合可以经由有线耦合和无线耦合中的一者或二者。
计算机102和电子设备104均可包括诸如壳体(未示出)之类的主体，该主体被调整形状和尺寸以分别承载屏幕102a和显示模块104a。计算机102的屏幕可被视为主显示屏102a，并且电子设备104的显示模块104a可被视为相对于主显示屏102a的补充显示器104a。通常，主显示屏102a显示在当前时间点相对于计算机102所生成的信息，并且补充显示器104a显示与主显示屏102a正在显示的信息相关的信息，但这类相关信息(即补充显示器104a所显示的信息)在相同当前时间点未由主显示屏102a显示。因此，可以理解，补充显示器104a显示相对于主显示屏102a正在显示的信息的辅助信息。具体地，补充显示器104a可以显示关于主显示屏102a正在显示的信息的辅助信息。因此，补充显示器104a可被视为相对于主显示屏102a的伴随/互补显示器(例如，伴随/互补显示屏)。
因为仅经由补充显示屏104a而非主显示屏102a来显示辅助信息，并且这类辅助信息与主显示屏102a正在显示的信息相关，因此，可以理解，需要导出这类辅助信息。如将参考示例性场景更详细地讨论的，可以使用例如计算机102所生成的经由计算机102听觉可感知的基于音频的数据来导出这类辅助信息。
以下将参考图1b更详细地讨论系统100。
参考图1b，计算机102还可包括：输入部分102b、处理部分102c、视觉部分102d、音频部分102e、以及收发器部分102f。计算机102的主体(例如，壳体)还可被调整形状和尺寸以承载输入部分102b、处理部分102c、视觉部分102d、音频部分102e、以及收发器部分102f。
视觉部分102d可包括显示器驱动器(未示出)。音频部分102e可包括：音频处理器102g、音频放大器102h、以及多个扬声器驱动器102i。
输入部分102b可被耦合到处理部分102c。处理部分102c可被耦合到视觉部分102d、音频部分102e、以及收发器部分102f中的每一个。
关于视觉部分102d，显示器驱动器可被耦合到处理部分102c。显示器驱动器还可被耦合到主显示屏102a。
关于音频部分102e，音频处理器102g可被耦合到处理部分102c。音频处理器102g还可被耦合到音频放大器102h。音频放大器102h可被耦合到多个扬声器驱动器102i。在一个示例中，多个扬声器驱动器可包括第一扬声器驱动器、第二扬声器驱动器、第三扬声器驱动器、以及第四扬声器驱动器。第一扬声器驱动器例如可以对应于前左(即如图1b所示的“FL”)信道扬声器。第二扬声器驱动器例如可以对应于前右(即如图1b所示的“FR”)信道扬声器。第三扬声器驱动器例如可以对应于后左(即如图1b所示的“RL”)信道扬声器。第四扬声器驱动器例如可以对应于后右(即如图1b所示的“RR”)信道扬声器。来自计算机102的音频输出可以经由多个扬声器驱动器102i。在更具体的示例中，来自计算机102的音频输出可包括分别经由FL信道扬声器、FR信道扬声器、RL信道扬声器和/或RR信道扬声器的FL音频输出、FR音频输出、RL音频输出和/或RR音频输出。
如上所述，计算机102和电子设备104之间的耦合可以经由有线耦合和无线耦合中的一者或二者。
关于无线耦合，计算机102可以经由通信网络106被耦合到电子设备104。具体地，计算机102可被配置为经由通信网络106与电子设备104进行无线信号通信。通信网络106可包括例如基于蓝牙的通信、基于红外的通信、和/或基于Wi-Fi的通信。
关于有线耦合，计算机102可以经由硬连线被耦合到电子设备104。例如，计算机102可以经由线缆(未示出)被耦合到电子设备104。
在一个实施例中，电子设备104显示模块104a(即还称为补充显示器104a)可被配置用于根据来自计算机102的输出来进行显示。此外，补充显示器104a可以采用显示屏的形式。
更具体地，可以基于来自计算机102的音频输出例如来划分补充显示器104a的显示。更具体地，补充显示器104a例如可被划分为对应于FL信道扬声器、FR信道扬声器、RL信道扬声器、以及RR信道扬声器的四个部分。
如图所示，根据本公开的实施例，可以通过垂直轴108a和水平轴108b将补充显示器104a的显示划分为四个相等的部分。在这方面，补充显示器104a的显示例如可被划分为：指示FL音频输出的第一四分之一部分108c、指示FR音频输出的第二四分之一部分108d、指示RL音频输出的第三四分之一部分108e、以及指示RR音频输出的第四四分之一部分108f。应注意，垂直和水平轴108a/108b被包括在该讨论中仅是为了示出对补充显示器104a的显示进行标定的可能方式，并且不一定是视觉可感知的(即垂直和水平轴108a/108b可以是视觉不可感知的假想线)。
在操作上，处理部分102c可被配置为运行/执行软件程序。基于正在运行的软件程序，可以从处理部分102c生成并且传送输出信号。输出信号可包括基于视觉的输出信号和基于音频的输出信号中的一者或二者。在这方面，软件程序可以与基于图形的数据和基于音频的数据中的一者或二者相关联，该基于图形的数据和基于音频的数据可以被处理以分别生成基于视觉的输出信号和基于音频的输出信号。
基于视觉的输出信号可被传送到视觉部分102d以供进一步的处理(例如，通过显示器驱动器)，以使得基于视觉的输出信号例如可以是适于主显示屏102a的图形的显示的格式(即用户视觉可感知)。
基于音频的输出信号可被传送到音频部分102e以供进一步处理。具体地，基于音频的输出信号可以由音频处理器102g和音频放大器102h处理。经处理的基于音频的输出信号可以经由多个扬声器驱动器102i进行输出以供用户听觉感知。例如，基于音频的输出信号可包括：FL信道信号、FR信道信号、RL信道信号、以及RR信道信号。FL信道信号、FR信道信号、RL信道信号、以及RR信道信号可以由音频处理器102g和音频放大器102h处理。经处理的FL信道信号、经处理的FR信道信号、经处理的RL信道信号、以及经处理的RR信道信号可以分别由FL信道扬声器、FR信道扬声器、RL信道扬声器、RR信道扬声器进行输出。来自FL信道扬声器、FR信道扬声器、RL信道扬声器、以及RR信道扬声器的输出分别可被称为FL音频输出、FR音频输出、RL音频输出、以及RR音频输出。
输入信号可以由操作输入部分102b(例如，键盘或诸如鼠标之类的定点设备)的用户生成，并且可被传送到处理部分102c。处理部分102c可被配置为基于输入信号来处理基于图形的数据和/或基于音频的数据，以分别产生基于视觉的输出信号和/或基于音频的输出信号。
处理部分102c还可被配置为处理基于图形的数据和基于音频的数据中的一者或二者，以产生可被传送到电子设备104的补充信号。基于图形的数据和/或基于音频的数据可以由处理部分120c基于输入信号来处理。优选地，补充信号被传送到收发器部分102f，该收发器部分102f经由通信网络106将补充信号无线地发送到电子设备104。
基于补充信号，可以经由补充显示器104a来显示辅助信息，如以下将参考图1c的示例场景所讨论的。
参考图1c，在一个示例性场景200中，计算机102可以是游戏笔记本电脑并且电子设备104可以是具有显示屏的智能电话。在这方面，上述显示模块/补充显示器104a可以是显示屏的形式。因此，上述显示模块/补充显示器104a在下文中可被称为补充显示屏104a。
补充显示屏104a可被配置用于坐标图形类型显示，其中，垂直轴202和水平轴204将补充显示屏104a划分为四个相等的部分。在这方面，补充显示屏104a可被划分为指示基于FL的位置的第一象限206a、指示基于FR的位置的第二象限206b、指示基于RL的位置的第三象限206c、以及指示基于RR的位置的第四象限206d。此外，可以显示原点208。原点208可以是参考点，其指示关于感兴趣的音效没有来自FL信道扬声器、FR信道扬声器、RL信道扬声器、以及RR信道扬声器中的每个信道扬声器的输出(即关于感兴趣的音效，FL信道信号、FR信道信号、RL信道信号、以及RR信道信号中的每项可以由处理部分102c量化为0dB)。此外，可以基于FL信道信号、FR信道信号、RL信道信号、和/或RR信道信号来显示一个或多个视觉提示210a/210b(即(一个或多个)视觉指示)，如随后将更详细地讨论的。
所执行的软件程序可以是基于游戏的程序。基于游戏的程序例如可以是战争/战役类型的游戏类型(即以战争/战役为主题的游戏)。
通常，在游戏中，将存在一个或多个游戏角色和/或游戏环境(即基于图形的数据)，其可以是经由主显示屏102a视觉可感知的。在游戏中，可能存在故事情节或游戏规则，并且玩家可以根据故事情节或游戏规则来玩游戏。例如，可能需要玩家在游戏环境中移动一个或多个游戏角色以实现某一目标。可以理解，在游戏中，可能存在一个或多个可移动的游戏角色和/或一个或多个静止的游戏角色。可移动的(一个或多个)游戏角色可以根据玩家控制来移动以实现游戏中的某一目标。此外，游戏可以包括伴随的游戏音频(即基于音频的数据)，例如，经由多个扬声器驱动器102i听觉可感知的背景音乐、配乐、和/或音效。(一个或多个)游戏角色和游戏环境可对应于基于图形的数据。伴随的游戏音频可对应于基于音频的数据。
具体地，在以战争为主题的游戏中，游戏角色可包括士兵并且游戏环境可对应于战场。游戏的目标可以是中立敌方目标。玩家控制可以经由输入部分102b(即玩家使用键盘所生成的输入信号)来例如移动(一个或多个)士兵和/或射击敌方目标。游戏的音效可包括(例如，当玩家移动士兵通过战场时和/或当敌方目标移动通过战场时的)枪声和脚步声。音效还可包括当敌方目标射击玩家所控制的士兵时的枪声。主显示屏102a可被配置为显示战场和士兵等(即由主显示屏102a显示的信息)。
在这方面，基于音频的数据可以与游戏音频相关联。具体地，基于音频的数据可以包括例如背景音乐、配乐、和/或音效。
此外，主显示屏102a所显示的信息可包括游戏环境、(一个或多个)士兵、和/或(一个或多个)敌方目标。主显示屏102a所显示的信息还可包括游戏期间当玩家在当前时间点移动(一个或多个)士兵时(一个或多个)士兵的移动、(一个或多个)敌方目标的移动、和/或游戏环境的变化。
处理部分102c例如可被配置为基于与FL信道信号、FR信道信号、RL信道信号、和/或RR信道信号相关联的基于音频的数据来提供指示和/或执行计算。与FL信道信号、FR信道信号、RL信道信号、以及RR信道信号中的每项相关联的基于音频的数据例如可以以分贝(dB)为单位被量化。此外，FL信道信号、FR信道信号、RL信道信号、以及RR信道信号可以分别指示FL音频输出、FR音频输出、RL音频输出、以及RR音频输出的响度。
优选地，可以根据基于音频的数据来导出从计算机102被传送到电子设备104的补充信号。基于音频的数据可以基于玩家感兴趣的音效。玩家感兴趣的音效可以与玩家感兴趣的对象相关联。感兴趣的对象例如可包括诸如敌方目标之类的可移动游戏角色。
在一个实施例中，处理部分102c可被配置为当玩家正在玩游戏时在任意时间点对与FL信道信号、FR信道信号、RL信道信号、以及RR信道信号中的每项相关联的基于音频的数据进行量化(例如，以dB为单位)。具体地，感兴趣的音效(例如，来自敌方目标的枪声和/或敌方目标的脚步声)可以由玩家标识，并且处理部分102c可被配置为对关于感兴趣的音效(例如，来自敌方目标的枪声和/或敌方目标的脚步声)的与FL信道信号、FR信道信号、RL信道信号、以及RR信道信号中的每项相关联的基于音频的数据以dB为单位进行量化。基于关于感兴趣的音效对与FL信道信号、FR信道信号、RL信道信号、和/或RR信道信号相关联的基于音频的数据的这类量化，补充信号可以由处理部分102c生成并且从计算机102被传送到电子设备104。感兴趣的音效可以由玩家例如通过选择感兴趣的对象的方式来标识，如随后将参考图2更详细地讨论的。
在另一实施例中，处理部分102c可被配置为当玩家正在玩游戏时在任意时间点对与FL信道信号、FR信道信号、RL信道信号、以及RR信道信号中的每项相关联的基于音频的数据进行量化(例如，以dB为单位)。处理部分102c还可被配置为将与一个信道信号(例如，FL信道信号)相关联的基于音频的数据和与另一信道信号(例如，FR信道信号)相关联的基于音频的数据进行比较。具体地，感兴趣的音效(例如，来自敌方目标的枪声和/或敌方目标的脚步声)可以由玩家标识，并且处理部分102c可被配置为对关于感兴趣的音效(例如，来自敌方目标的枪声和/或敌方目标的脚步声)的与FL信道信号、FR信道信号、RL信道信号、和/或RR信道信号相关联的基于音频的数据进行量化和比较。感兴趣的音效可以由玩家例如通过选择感兴趣的对象的方式来标识，如随后将参考图2更详细地讨论的。
在一个示例中，关于游戏期间的某一时间点的听觉可感知的感兴趣的音效，与FL信道信号相关联的基于音频的数据可被量化为6dB，与FR信道信号相关联的基于音频的数据可被量化为3dB，与RL信道信号相关联的基于音频的数据可被量化为0dB，并且与RR信道信号相关联的基于音频的数据可被量化为0dB。处理部分102c可被配置为将与FL和FR信道信号相关联的基于音频的数据进行比较(与RL和RR信道信号相关联的基于音频的数据因为是0dB而可被忽略)。通过比较与FL和FR信道信号相关联的基于音频的数据，可以生成指示在游戏期间感兴趣的音效的位置的补充信号。具体地，考虑到与FL信道信号相关联的基于音频的数据被量化为6dB而与FR信道信号相关联的基于音频的数据被量化为3dB，补充信号例如指示可以在前方附近(即FL和FR信道之间)更靠近左侧的地方听到敌方目标枪声(即因为与FL信道信号相关联的基于音频的数据为6dB并且与FR信道信号相关联的基于音频的数据为3dB)。
在另一示例中，关于游戏期间在时间点听觉可感知的感兴趣的音效，与FL信道信号相关联的基于音频的数据可被量化为0dB，与FR信道信号相关联的基于音频的数据可被量化为5dB，与RL信道信号相关联的基于音频的数据可被量化为0dB，并且与RR信道信号相关联的基于音频的数据可被量化为2dB。处理部分102c可被配置为将与FR和RR信道信号相关联的基于音频的数据进行比较(与FL和RL信道信号相关联的基于音频的数据因为是0dB而可被忽略)。通过比较与FR和RR信道信号相关联的基于音频的数据，可以生成指示在游戏期间感兴趣的音效的位置的补充信号。具体地，考虑到与FR信道信号相关联的基于音频的数据被量化为5dB而与RR信道信号相关联的基于音频的数据被量化为2dB，补充信号例如指示可以在右侧附近(即FR和RR信道之间)更靠近前方的地方听到敌方目标枪声(即因为与FR信道信号相关联的基于音频的数据为5dB并且与RR信道信号相关联的基于音频的数据为2dB)。
可以理解，以这种方式(例如，参照关于本段之前的两个示例的较早的讨论)，可以提供对敌方目标的大致位置的指示。因此，补充信号可以指示敌方目标的大致位置，尽管在游戏期间感兴趣的音效(即来自敌方目标的枪声)听觉可感知的特定时间点，敌方目标可能不一定是经由主显示屏102a视觉可感知的。具体地，可以经由补充显示屏104a来根据基于音频的数据提供对感兴趣的对象(例如，敌方目标)的大致位置的指示，即使感兴趣的对象在游戏期间的当前时间点不是经由主显示屏102a视觉可感知的。因此，经由补充显示屏104a显示的辅助信息可以与主显示屏102a未示出/显示的感兴趣的对象的上述大致位置相关。
在这方面，从计算机102被传送到电子设备104的补充信号可以由电子设备104接收和处理，以便提供对例如感兴趣的对象(例如，敌方目标)的大致位置的至少一个指示(即(一个或多个)视觉提示210a/201b)。
在较早的示例(即关于感兴趣的音效，与FL信道信号相关联的基于音频的数据可被量化为6dB，与FR信道信号相关联的基于音频的数据可被量化为3dB，与RL信道信号和与RR信道信号中的每项相关联的基于音频的数据可被量化为0dB)中，其中，根据基于音频的数据，补充信号可以指示感兴趣的对象(例如，敌方目标)大致位于前方附近(即FL和FR信道之间)更靠近左侧的地方(即因为与FL信道信号相关联的基于音频的数据为6dB并且与FR信道信号相关联的基于音频的数据为3dB)。补充显示屏104a可以在如此指示的第一象限206a中的某处显示诸如视觉提示210a之类的指示。
在另一较早的示例(即关于感兴趣的音效，与FL信道信号相关联的基于音频的数据可被量化为0dB，与FR信道信号相关联的基于音频的数据可被量化为5dB，与RL信道信号相关联的基于音频的数据可被量化为0dB，并且与RR信道信号相关联的基于音频的数据可被量化为2dB)中，其中，根据基于音频的数据，补充信号可以指示感兴趣的对象(例如，敌方目标)大致位于右侧(即FR和RR信道之间)更靠近前方的地方(即因为与FR信道信号相关联的基于音频的数据为5dB并且与RR信道信号相关联的基于音频的数据为2dB)。补充显示屏104a可以在如此指示的第二象限206b中的某处显示诸如视觉提示210b之类的指示。
可以理解，对于使用计算机102玩游戏的玩家，感兴趣的音效(例如，来自敌方目标的枪声、敌方目标的脚步声)可以是从多个扬声器驱动器102i听觉可感知的。然而，主显示屏102a上可能不一定显示(例如，视觉可感知)与感兴趣的音效相关联的感兴趣的对象(例如，敌方目标)，即使感兴趣的音效在玩游戏的特定时间点可能是听觉可感知的。在这方面，主显示屏102a所显示的信息可包括由玩家移动的(一个或多个)游戏角色以及游戏环境，而当相关联的感兴趣的声音可能是听觉可感知的时，主显示屏102a未显示的诸如感兴趣的对象(例如，其移动可由计算机控制的可移动敌方目标)之类的辅助信息可以由补充显示屏104a来显示。因此，即使当相关联的感兴趣的声音可以由玩家听觉地感知时主显示屏102a未显示感兴趣的对象，仍可以通过补充显示屏104a所显示的上述(一个或多个)视觉提示210a/201b来向玩家提供游戏环境中的感兴趣的对象的大致位置。
此外，由于游戏环境中的感兴趣的对象的大致位置可以经由补充显示屏104a通过显示上述(一个或多个)视觉提示210a/201b来提供，因此，可以理解，不需要在主显示屏102a上配设任何额外的空间来显示这类辅助信息。因此，在主显示屏102a上将不存在可能会影响游戏体验的这类视觉干扰。也就是说，玩家可以访问期望的辅助信息，并且仍完全地享受主显示屏201a上的预期的显示(由玩家控制的可移动游戏角色以及游戏环境等)而不被辅助信息的显示干扰。
图2示出了根据本公开的实施例的与图1的系统100相关联的处理方法300的流程图。参照较早的讨论，可以理解，系统100包括计算机102和电子设备104。计算机102和电子设备104进行通信。
处理方法300可包括选择步骤302、标识步骤304、导出步骤306、传输步骤308、以及输出步骤310。
关于选择步骤302，(一个或多个)图形用户界面(GUI)可被提供用于计算机102的用户的用户选择。GUI可以由主显示屏102a显示。例如，可以向玩家提供选项以选择期望的感兴趣的对象(例如，敌方目标)。例如，当游戏程序被初始化时，可以向玩家呈现GUI。可以通过玩家操作输入部分102b(例如，键盘或诸如鼠标之类的定点设备)的方式来选择感兴趣的对象，以使得被传送到处理部分102c的输入信号可以指示玩家所选择的感兴趣的对象。因此，计算机102的用户能够选择感兴趣的对象。
关于标识步骤304，处理部分102c可被配置为标识与所选择的感兴趣的对象相关联的基于音频的数据。例如，处理部分102c可被配置为标识与所选择的感兴趣的对象相关联的(一个或多个)相关音效。因此，可以在计算机102处标识与所选择的感兴趣的对象相关联的基于音频的数据。
关于导出步骤306，处理部分102c可被配置为基于所标识的基于音频的数据来生成补充信号。因此，可以在计算机102处基于所标识的基于音频的数据来生成补充信号。
关于传输步骤308，从处理部分102c传送到收发器部分102f的补充信号可被传送到电子设备104。因此，所生成的补充信号可以从计算机102被传送到电子设备104。
关于输出步骤310，电子设备104接收到的补充信号可被进一步处理以使得可以经由显示模块104a来显示(一个或多个)视觉提示210a/201b。因此，玩家可以视觉地感知显示模块104a所显示的辅助信息。因此，可以处理接收到的补充信号以生成经由电子设备104而非计算机102可以视觉感知的辅助信息。
按照上述方式，描述了本公开的各个实施例以解决上述缺点中的至少一个缺点。这些实施例旨在被所附权利要求涵盖，并且不限于被如此描述的部分的特定形式或布置，并且鉴于本公开，对于本领域技术人员将明显的是，可以做出许多改变和/或修改，这些改变和/或修改也旨在被下列权利要求涵盖。
在一个示例中，可以通过分析历史游戏数据(例如，分析补充显示屏104a所显示的指示210a/210b的历史)来提供基于预测的视觉提示或由全球社区标记这些提示(例如，在大型多人在线角色扮演游戏情况下)。例如，可以经由基于卡尔曼滤波的信号处理(例如，通过处理部分102c)来生成基于预测的视觉提示。
在另一示例中，可以经由显示模块104a来向运行诸如一系列击键和命令之类的宏的玩家呈现选项(例如，经由图形用户界面)。例如，可以经由显示模块104a来呈现六个图形按钮，每个图形按钮可以由玩家自定义来打开/关闭(即激活或去激活)某些功能/触发某些活动/触发与在计算机102侧运行/执行的游戏相关联的某些动作。在更具体的示例中，六个图形按钮中的一个图形按钮可被自定义为触发玩家控制的角色的动作(例如，侦查模式、隐蔽模式、和/或远离/逃避敌方目标火力)。因此，(一个或多个)图形按钮可以有效地用作游戏期间用于游戏控制的(一个或多个)快捷键。如可以理解的，电子设备104可以用作游戏期间的补充控制设备，并且可以通过促进玩家在玩游戏时容易地控制游戏角色来提升游戏体验。
在又一示例中，尽管在较早的示例中已经使用了显示屏，但可以理解，显示模块104a可以是其他形式。例如，显示模块104a可以是发光二极管(LED)阵列的形式，其中，根据电子设备104所接收和处理的补充信号来点亮适当的LED。例如，当补充信号指示感兴趣的对象位于大约前方附近并且更靠近左侧时，可以点亮位于第一象限206a的LED。
在又一示例中，尽管较早的示例基于作为四信道输出(例如，FR信道、FL信道、RL信道、以及RR信道)系统的系统100，但可以理解，系统100可以基于任意数目的信道输出。例如，系统100可以基于六个信道输出，其中，除FL信道扬声器、FR信道扬声器、RL信道扬声器、以及RR信道扬声器之外，多个扬声器驱动器102i还包括另外两个扬声器驱动器(例如，顶部信道扬声器和侧部信道扬声器)。

Claims (7)

1.一种电子设备，所述电子设备可以与运行与基于图形的数据和基于音频的数据相关联的程序的计算机一起操作，所述计算机具有基于所述基于图形的数据来显示信息的主显示屏，所述电子设备包括：
显示模块，所述显示模块采用显示屏的形式，所述显示模块被配置为显示与经由所述主显示屏所显示的信息有关的辅助信息，所述辅助信息未由所述主显示屏显示；
其中，所述显示模块的显示被划分为多个部分，每个部分对应于多个音频输出信道信号中的相应的音频输出信道信号，其中与所述多个音频输出信道信号中的每个音频输出信道信号相关联的基于音频的数据以分贝为单位被量化并被相互比较以生成补充信号，所述补充信号被所述电子设备接收和处理以提供所述显示模块的对应部分上的视觉提示，并且
其中，通过所述显示模块而非所述主显示屏显示的辅助信息是基于所述基于音频的数据可导出的。
2.如权利要求1所述的电子设备，其中，经由所述显示模块显示的辅助信息与感兴趣的对象有关，所述感兴趣的对象与经由所述计算机音频可感知的基于音频的数据相关联。
3.如权利要求2所述的电子设备，其中，所述基于图形的数据与环境相关联，并且所述辅助信息与所述环境内的所述感兴趣的对象的大致位置相关联。
4.如权利要求3所述的电子设备，其中，与所述感兴趣的对象相关联的基于音频的数据对应于与所述感兴趣的对象相关联的音效。
5.如权利要求1所述的电子设备，其中所述显示模块的对应部分上的视觉提示被显示在根据与所有相应的音频输出信道相关联的基于音频的数据近似得到的对应位置中。
6.一种处理方法，所述处理方法与包括计算机和电子设备的系统相关联，所述计算机与所述电子设备可通信，所述处理方法包括：
选择步骤，其中，所述计算机的用户选择感兴趣的对象；
标识步骤，其中，在所述计算机处标识与所选择的感兴趣的对象相关联的基于音频的数据；
导出步骤，其中，在所述计算机处基于所标识的基于音频的数据来生成补充信号；
传输步骤，其中，所生成的补充信号从所述计算机被传送到所述电子设备；以及
输出步骤，其中，接收到的补充信号被处理以生成经由所述电子设备的显示模块而非所述计算机视觉可感知的至少一个视觉提示，其中，所述显示模块的显示被划分为多个部分，每个部分对应于多个音频输出信道信号中的相应的音频输出信道信号，其中与所述多个音频输出信道信号中的每个音频输出信道信号相关联的基于音频的数据以分贝为单位被量化并被相互比较以生成所述补充信号，所述补充信号被所述电子设备接收和处理以提供所述显示模块的对应部分上的视觉提示。
7.如权利要求6所述的处理方法，其中，在所述输出步骤中，根据与所有相应的音频输出信道相关联的基于音频的数据近似得到的对应位置被确定，并且其中，所述视觉提示被显示在所述显示模块的对应部分中的所述对应位置上。
CN201710655005.1A 2016-08-04 2017-08-03 用于显示辅助信息的伴随显示模块及其处理方法 Active CN107688449B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10201606458WA SG10201606458WA (en) 2016-08-04 2016-08-04 A companion display module to a main display screen for displaying auxiliary information not displayed by the main display screen and a processing method therefor
SG10201606458W 2016-08-04

Publications (2)

Publication Number Publication Date
CN107688449A CN107688449A (zh) 2018-02-13
CN107688449B true CN107688449B (zh) 2022-08-30

Family

ID=59485299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710655005.1A Active CN107688449B (zh) 2016-08-04 2017-08-03 用于显示辅助信息的伴随显示模块及其处理方法

Country Status (5)

Country Link
US (2) US20180036636A1 (zh)
EP (1) EP3278849B1 (zh)
CN (1) CN107688449B (zh)
SG (2) SG10201606458WA (zh)
TW (1) TWI734812B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108744516B (zh) * 2018-05-29 2020-09-29 腾讯科技（深圳）有限公司 获取定位信息的方法和装置、存储介质及电子装置
CN108854069B (zh) * 2018-05-29 2020-02-07 腾讯科技（深圳）有限公司 音源确定方法和装置、存储介质及电子装置
CN112827165A (zh) * 2021-02-15 2021-05-25 苏州优它科技有限公司 一种基于虚拟现实多模互馈的穿戴游戏套件
US20240121569A1 (en) * 2022-10-09 2024-04-11 Sony Interactive Entertainment Inc. Altering audio and/or providing non-audio cues according to listener's audio depth perception

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119782A (zh) * 2004-09-21 2008-02-06 时间游戏Ip公司 多玩家游戏的系统、方法和手持式控制器
CN102739332A (zh) * 2011-03-30 2012-10-17 哈曼国际工业有限公司 音频处理设备和输出状态信息的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010054019A1 (en) * 2008-11-04 2010-05-14 Quado Media Inc. Multi-player, multi-screens, electronic gaming platform and system
CA2778196A1 (en) * 2009-02-11 2010-08-19 Hellatronix Video game with behavior indicators and controller therefor with integrated display screen
US20110300930A1 (en) * 2010-06-08 2011-12-08 Hsu Kent T J Video game controller with an auxiliary display
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
WO2016004344A1 (en) * 2014-07-03 2016-01-07 Spitfire Technologies, Llc Electronically mediated reaction game
US9628858B2 (en) * 2014-10-31 2017-04-18 Microsoft Technology Licensing, Llc Individualized content presentation for increased user interaction performance in group settings
US9839854B2 (en) * 2015-12-15 2017-12-12 Nvidia Corporation Built-in support of in-game virtual split screens with peer-to peer-video conferencing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119782A (zh) * 2004-09-21 2008-02-06 时间游戏Ip公司 多玩家游戏的系统、方法和手持式控制器
CN102739332A (zh) * 2011-03-30 2012-10-17 哈曼国际工业有限公司 音频处理设备和输出状态信息的方法

Also Published As

Publication number Publication date
US11571621B2 (en) 2023-02-07
CN107688449A (zh) 2018-02-13
US20190240576A1 (en) 2019-08-08
TW201805050A (zh) 2018-02-16
US20180036636A1 (en) 2018-02-08
SG10201706135UA (en) 2018-03-28
TWI734812B (zh) 2021-08-01
EP3278849A1 (en) 2018-02-07
EP3278849B1 (en) 2022-01-05
SG10201606458WA (en) 2018-03-28

Similar Documents

Publication Publication Date Title
CN107688449B (zh) 用于显示辅助信息的伴随显示模块及其处理方法
KR102599993B1 (ko) 멀티플레이어 온라인 전투 프로그램에서 프롬프트 정보 전송 방법 및 장치, 및 단말기
US20210011682A1 (en) Systems and methods for providing audio to a user based on gaze input
US20210352430A1 (en) Method and system for in-game visualization based on audio analysis
US10055191B2 (en) Systems and methods for providing audio to a user based on gaze input
US10191714B2 (en) Gaming peripheral with built-in audio support
US9338577B2 (en) Game system, game process control method, game apparatus, and computer-readable non-transitory storage medium having stored therein game program
US20140126754A1 (en) Game system, game process control method, game apparatus, and computer-readable non-transitory storage medium having stored therein game program
KR20100021387A (ko) 가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법
US11731045B2 (en) Pre-set audio profiles for graphical user interface and parametric equalizer in gaming systems
WO2013039777A2 (en) Apparatus for adapting virtual gaming with real world information
CN112245921B (zh) 虚拟对象控制方法、装置、设备及存储介质
CN111760285B (zh) 虚拟场景的显示方法、装置、设备及介质
WO2021222923A1 (en) Method and system for visual display of audio cues in video games
US11210911B2 (en) Visual feedback system
CN112843716B (zh) 虚拟物体提示与查看方法、装置、计算机设备及存储介质
JP7303780B2 (ja) 演出制御システム、方法、プログラム
KR20230159089A (ko) 터치 스크린에 가상 입력 패드를 제공하는 방법 및 장치
JP2024133800A (ja) プログラムおよび音響装置
KR20230159090A (ko) 터치 스크린에 가상 입력 패드를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment