CN108014495A - 视觉补偿声音信息的方法、存储介质及电子设备 - Google Patents

视觉补偿声音信息的方法、存储介质及电子设备 Download PDF

Info

Publication number
CN108014495A
CN108014495A CN201711185290.1A CN201711185290A CN108014495A CN 108014495 A CN108014495 A CN 108014495A CN 201711185290 A CN201711185290 A CN 201711185290A CN 108014495 A CN108014495 A CN 108014495A
Authority
CN
China
Prior art keywords
virtual
information
orientation
meaning
destination object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711185290.1A
Other languages
English (en)
Inventor
戈瑾
邵腾
李雪妹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201711185290.1A priority Critical patent/CN108014495A/zh
Publication of CN108014495A publication Critical patent/CN108014495A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/54Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A63F2300/305Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display for providing a graphical or textual hint to the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6063Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种视觉补偿声音信息的方法、存储介质及电子设备,涉及人机交互技术领域,该方法包括:判断游戏场景中预设区域内的一个或多个目标对象的状态是否满足预设触发条件;若目标对象的状态满足触发条件,获取目标对象的方位信息和运动信息,运动信息至少包括运动类型;在交互界面中提供一视觉控件,视觉控件包括一与目标对象的运动类型对应的虚拟组件;根据方位信息控制虚拟组件的显示位置和/或方位指向,从而标示出方位信息所对应的方位。本公开可以使用户在嘈杂的环境中识别声音的类型、声音的声源相对于所述虚拟对象的距离和方位的方法,用户体验较好。

Description

视觉补偿声音信息的方法、存储介质及电子设备
技术领域
本公开涉及人机交互技术领域,尤其涉及一种视觉补偿声音信息的方法、存储介质及电子设备。
背景技术
在传统终端游戏中用户可以通过判断游戏中的声音的类型以及声音的声源相对于用户控制的虚拟对象的距离和方位等信息来判断用户控制的虚拟对象所处的环境,例如,可以通过脚步声的变化规律判断来敌方向,再例如,可以通过枪声判断危险的来源。因此,在传统的终端游戏中,用户可以根据游戏中的声音快速判断用户控制的虚拟对象所处的环境,并快速做出应对措施。此外,由于传统终端的应用环境良好,搭配音效较好的耳机或音响,沉浸感不易被打断,进而给用户带来了更好的体验。
目前,随着手持终端的普及,游戏也越来越多的被应用在手持终端中。然而,相比于传统终端,手持终端的应用环境较为广泛,在手持终端应用在嘈杂的环境中,用户很难通过游戏中的声音判断用户控制的虚拟对象所处的环境,且沉浸感容易被打断。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种视觉补偿声音信息的方法以及计算机可读存储介质、电子设备,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开的一个方面,提供一种视觉补偿声音信息的方法,其特征在于,应用于可呈现图形用户界面的触控终端,所述图形用户界面至少部分地包含游戏场景,以及至少部分地包含一虚拟对象,所述方法包括:
判断所述游戏场景中预设区域内的一个或多个目标对象的状态是否满足预设触发条件;
若所述目标对象的状态满足触发条件,获取所述目标对象的方位信息和运动信息,所述运动信息至少包括运动类型;
在所述交互界面中提供一视觉控件,所述视觉控件包括一与所述目标对象的运动类型对应的虚拟组件;
根据所述方位信息控制所述虚拟组件的显示位置和/或方位指向,从而标示出所述方位信息所对应的方位。
可选的,所述虚拟组件包括表意图像和方向标识,其中,所述表意图像用于标示所述虚拟目标的运动类型,所述方向标识用于标示所述方位信息对应的方位指向。
可选的,所述视觉控件还包括一方位标尺,所述虚拟组件包括表意图像,其中,所述表意图像用于标示所述虚拟目标的运动类型,所述方位标尺包括用于标示方位的方位标识;
所述根据所述方位信息控制所述虚拟组件的显示位置包括:
根据所述方位信息,在所述方位标尺对应的位置显示所述表意图像从而标示出所述方位信息对应的方位。
可选的,所述图形用户界面还包括一游戏缩略图;
所述根据所述方位信息控制所述虚拟组件的显示位置包括:根据所述方位信息在所述游戏缩略图中对应的方位的显示所述虚拟组件。
可选的,所述虚拟组件包括一表意图形,所述表意图像用于标示所述虚拟目标的运动类型。
可选的,所述预设触发条件包括:所述目标对象处于预设的运动状态。
可选的,所述预设触发条件包括:所述目标对象发出声音。
可选的,还包括:
根据所述目标对象与所述虚拟对象的距离,控制所述虚拟组件的显示形态,所述显示形态包括大小、颜色、亮度、透明度、动态效果中的至少一种。
可选的,检测所述虚拟对象在所述游戏场景中的当前朝向,通过所述方位标尺标示出所述当前朝向。
根据本发明其中一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行以上任一项的视觉补偿声音信息的方法。
根据本发明其中一方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以上任意一项所述视觉补偿声音信息的方法。
部分游戏中,游戏系统根据目标对象的运动来触发对应的声音,例如:跑步时触发脚步声音、射击时触发枪声等,本公开的视觉补偿声音信息的方法,通过对目标对象的运动检测,获取作为声源的目标对象的方位信息和运动信息,并通过视觉控件对方位和运动类型进行视觉补偿,在用户关闭游戏声音时或者嘈杂环境中或者设备欠缺通过左右声道表现声源方向的条件时,仍然能过通过视觉控件获取声源的方位信息和声音的类型信息。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
通过参照附图来详细描述其示例性实施例,本公开的上述和其它特征及优点将变得更加明显。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本公开一种视觉补偿声音信息的方法的流程图;
图2为本公开一示例性实施例中的虚拟组件的示意图;
图3-4为本公开另一示例性实施例中的方位标尺及虚拟组件的示意图;
图5为本公开另一示例性实施例中的虚拟组件的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有所述特定细节中的一个或更多,或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例性实施例中首先公开了一种视觉补偿声音信息的方法,应用于可呈现交互界面的触控终端,所述交互界面至少部分地包含游戏场景,以及至少部分地包含一虚拟对象。该触控终端例如可以为手机、平板电脑、笔记本电脑、游戏机、PDA等各种具备触控屏幕的电子设备。游戏应用可以通过触控终端的应用程序接口控制触控终端的触控屏幕呈现虚拟对象和包括虚拟摇杆的虚拟摇杆区域、虚拟战斗场景、虚拟自然环境等。所述交互界面可以为触控屏幕的整个区域,也可以为触控屏幕的部分区域,本示例性实施例对此不作特殊限定。所述虚拟对象是指用户所操控的游戏角色,以所述游戏角色的局部或整体的形式在交互界面中进行显示,例如在第一人称视角下,交互界面的内容以用户的主控视角呈现,用户的沉浸式体验感增强,界面中只能看到游戏角色的局部,例如手或者脚;而在第三人称视角下,可以将游戏角色整体呈现在交互界面中,降低用户的操控难度及眩晕感,且更强调画面的动作感,具体以哪种方式显示,开发者可根据游戏的内容选择,本发明不局限于此。参照图1所示,所述视觉补偿声音信息的方法可以包括以下步骤:
S1:判断所述游戏场景中预设区域内的一个或多个目标对象的状态是否满足预设触发条件;
S2:若所述目标对象的状态满足触发条件,获取所述目标对象的方位信息和运动信息,所述运动信息至少包括运动类型;
S3:在所述交互界面中提供一视觉控件,所述视觉控件包括一与所述目标对象的所述运动类型对应的虚拟组件;
S4:根据所述方位信息控制所述虚拟组件的显示位置和/或方位指向,从而标示出所述方位信息所对应的方位。
根据本示例性实施例中的视觉补偿声音信息的方法,通过对目标对象的运动检测,获取作为声源的目标对象的方位信息和运动信息,并通过视觉控件对方位和运动类型进行视觉补偿,在用户关闭游戏声音时或者嘈杂环境中或者设备欠缺通过左右声道表现声源方向的条件时,仍然能过通过视觉控件获取声源的方位信息和声音的类型信息。
下面,将对本示例性实施例中的视觉补偿声音信息的方法作进一步说明。
在步骤S1中,判断所述游戏场景中预设区域内的一个或多个目标对象的状态是否满足预设触发条件。
在本示例性实施例中,所述预设区域的大小可以由开发者根据游戏内容进行设置,例如,所述预设区域可以为根据虚拟对象的听觉距离以虚拟对象为中心来确定的范围,还可以为游戏场景的整个区域或者交互界面中显示的游戏场景的区域等等。
可以通过判断模块以一预设周期侦测预设区域内的虚拟目标是否满足预设条件,所述预设周期可以由开发商自行设置。比如,为了保证侦测的精度,所述预设周期不可设置的过大。
可选的,所述预设触发条件包括:所述目标对象处于预设的运动状态(例如:移动、射击、驾驶载具、交谈、开门等等),或者,所述目标对象发出声音(例如:由于虚拟目标的移动、射击、驾驶载具、交谈、开门运动而发出声音等等)。
所述预设触发条件可以由开发者根据游戏内容进行设置,该触发条件可以是单一触发条件,例如:可以是目标对象处于特定的运动状态,或者所述目标对象发出声音或者做出产生声音的运动;也可以是多重触发条件,例如,可以是目标对象处于特定的运动状态且该目标对象与虚拟对象(可以是玩家控制角色)不是队友关系、或者可以是目标对象处于特定的运动状态且该目标对象与虚拟对象的距离小于预设距离。
在步骤S2中,若所述目标对象的状态满足触发条件,获取所述目标对象的方位信息和运动信息,所述运动信息至少包括运动类型。
获取所述目标对象的方位信息,该方位信息可以是目标对象相对于虚拟对象的相对方位,也可以是目标对象在所述游戏场景中的方位,亦或是同时获取两者。开发者可以根据游戏的具体需求确定,一方面可以根据游戏所需要显示的信息进行选择,例如:如果仅仅需要标明目标对象相对虚拟对象的相对方位,那么则可以选择相对方位,相反则可以获得目标对象在游戏场景中的方位;另一方面,可以根据从游戏引擎中获取数据的便利性来进行选择,如果获得相对方位更便利,则可以采用相对方位。另外,由于目标对象与虚拟对象往往处于同坐标系中,相对方位和目标对象在场景中的方位可以相互换算,开发者也可以获取其中之一,并换算获得另外一个数据。目标对象的方位也可能通过目标对象的坐标信息计算获得,开发者也可以采用取得坐标信息后计算来获得方位信息。
所述运动信息至少包括运动类型,例如:移动、射击、驾驶载具、交谈、开门等等。在具体的实施例中,运动类型对应产生不同的声音,通过运动类型可以确定目标对象发出何种声音,从而能过确定视觉补偿声音的虚拟组件。
在步骤S3中,在所述交互界面中提供一视觉控件,且所述视觉控件包括与所述运动类型对应的虚拟组件。可选的,所述虚拟组件包括一表意图形,所述表意图像用于标示所述虚拟目标的运动类型。例如,如图2所示,所述虚拟组件200包括表意图像20,表意图像20为脚步图像,用于标示所述虚拟目标的运动类型(比如,步行运动)。表意图像还可以用枪形图形用于标示所述虚拟目标射击运动,等等。
在步骤S4中,根据所述方位信息控制所述虚拟组件的显示位置和/或方位指向,从而标示出所述方位信息所对应的方位。
在本公开的一个具体实施例中,所述虚拟组件包括表意图像和方向标识,其中,所述表意图像用于标示所述虚拟目标的运动类型,所述方向标识用于标示所述方位信息对应的方位指向。可以根据所述方位信息控制所述虚拟组件的显示位置和/或方位指向。
所述表意图像用于标示虚拟目标的运动类型,由于通常不同运动所产生的声音也有区别,为了使用户可以根据所述表意图像快速识别所述运动类型,所述表意图像可以根据运动类型确定。例如,走路和跑步对应的在声音的类型为脚步声,表意图像可以为脚的形状。再例如,开枪射击对应的声音类型为枪声时,表意图像可以为枪的形状。所述表意图像的颜色可以由开发生自行设置,还可以根据声音的类型进行确定,例如,在声音的类型为枪声时,所述表意图像的颜色可以根据枪的颜色进行设置。再例如,在声音的类型为脚步声时,所述表意图像的颜色可以为黑色。表意图像的颜色与视觉控件的颜色可以设置不同,以使得用户可以快速的辨认表意图像。
所述方向标识用于指示所述虚拟目标的方位,该方位可以是虚拟目标相对于虚拟对象的相对方位,也可以是虚拟目标在游戏场景中的方位,开发者可以根据游戏的需求设置。优选的,所述方向标识的指向与所述声音的声源相对于所述虚拟对象的方位一致。所述方向标识可以为一箭头,也可以为一三角形,还可以为一指针等具有方向指向的标识,本示例性实施例对此不作特殊限定。所述方向标识的颜色可以由开发者自行设置,例如,可以为绿色,还可以为红色等。可选的,所述方向标识的指向跟随所述声音的声源相对于所述虚拟对象的方位进行360度连续变化,即在声音的声源相对于所述虚拟对象的方位连续变化时,所述方向标识的指向也连续变化。
例如,如图2所示,所述虚拟组件200包括表意图像20和方向标识21,其中,所述表意图像20用于标示所述虚拟目标的运动类型,所述方向标识21用于标示所述方位信息对应的方位指向。根据所述方位信息控制所述虚拟组件的方位指向,比如,根据所述方位信息控制所述虚拟组件的方位指向如方向标识21所示。这样,此时方向标识21的指示可以表示该方向有脚步声音。虚拟组件200可以包含一个方向标识21,也可以包含多个方向标识(比如,方向标识22和方向标识23),以此指示多个方向都检测到声音或虚拟目标的运动。可选的,也可以根据所述方位信息控制所述虚拟组件的显示位置,比如,根据所述方位信息控制所述虚拟组件的在图形用户界面中一预设区域中的显示位置。可选的,也可以根据所述方位信息控制所述虚拟组件的显示位置和方向标识的指向。在图形用户界面中,可以包含一个虚拟组件200,也可以包含多个虚拟组件,比如,其中的一个虚拟组件用于指示脚步声音,另一个虚拟组件用于指示枪击声音。
可选的,可以根据所述目标对象与所述虚拟对象的距离,控制所述虚拟组件的显示形态,所述显示形态包括大小、颜色、亮度、透明度、动态效果中的至少一种。例如,在图2中,分别基于三个声源(虚拟目标)相对于虚拟对象的距离分别控制对应的方向标识的大小,其中,距离越远,方向标识越小,距离越近,方向标识越大。具体的,方向标识21的大小大于方向标识22的大小,方向标识22的大小大于方向标识23的大小。此外,还可以可以根据所述目标对象与所述虚拟对象的距离,控制所述虚拟组件(表意图像或方向标识)的其它显示形态,颜色、亮度、透明度、动态效果等。
在本公开的另一个具体实施例中,所述视觉控件还包括一方位标尺,所述虚拟组件包括表意图像,其中,所述表意图像用于标示所述虚拟目标的运动类型,所述方位标尺包括用于标示方位的方位标识;所述根据所述方位信息控制所述虚拟组件的显示位置包括:根据所述方位信息,在所述方位标尺对应的位置显示所述表意图像从而标示出所述方位信息对应的方位。
例如,如图3所示,视觉控件还包括一方位标尺30,该方位标尺30包括用于标示方位的方位标识,该方位标识可以包括方位刻度和/或方位描述。如图3所示的方位标尺30中,既包括以数字表示及以文字表示的方位刻度310,数字表示的如:105、120、150等方位刻度,文字表示的如:东、东南、南、西南等方位;也包括方位描述320,方位描述优选采用文字描述,但也可以采用图形描述的方式,图3的方位标尺30采用文字描述,其中最左侧所显示的“左后”、最右侧所显示的“右后”,该方位描述一方面有降低玩家理解方位标尺的理解难度,另一方面,由于屏幕空间的有限性,可能难于在屏幕上同等展示方位标尺0-360度的全部刻度范围,仅在屏幕上显示部分重点关注刻度区域的细节,而对于部分刻度区域则可以通过方位描述进行概括性的展示。比如,对于玩家虚拟对象后方的区域,可以概括性地区分为左后及右后。方位标尺30可以采用如图3所示的直尺的表现形式,也可以采用其他能过标示方位的形式,例如:采用模拟罗盘的方式,或者采用弧形刻度盘的方式等等。
如前文所述,所述表意图像用于标示所述虚拟目标的运动类型。根据所述方位信息,在所述方位标尺对应的位置显示所述表意图像从而标示出所述方位信息对应的方位。例如,如图4所示,可以通过在方位标尺300下方设置图形显示区域500,将声音对应的表意图像700显示于该显示区域500(或者,将表意图像700覆盖显示在方位标尺300上,或者,将表意图像700显示在方位标尺300其它对应的位置)中,并根据所述声音的方位信息,控制表意图像700的显示位置处于方位标尺对应的位置。在可选的实施例中,可以不区分表意图像700而采用同一个表意图像700来表示不同的运动,但该方式不利于玩家区分目标角色的运动类型。因此,优选对不同的运动类型/声音采用不同的表意图像,如图4所示的实施例中,可以分别采用不同的表意图像来标识不同的声音或运动类型,脚掌表意图像701用于表示脚步声、手枪表意图像702用于表示枪声、门状表意图像703用于表示开门声,声音类型和表意图形及其对应关系可以预选存储在游戏中,当获取目标角色的运动类型/声音的类型后,通过查询预设内容即可选择对应的表意图像。具体地,如图4所示,脚掌表意图像701位于方位标尺“北”位置,表示“北”方位有目标角色步行/脚步声;门状表意图像7031位于方位标尺“60-70”位置,表示“60-70”方位有目标角色开关门/开关六声音。
在可选的实施例中,可以根据所述目标对象与所述虚拟对象/声音源的距离,控制所述虚拟组件的显示形态,所述显示形态包括大小、颜色、亮度、透明度、动态效果中的至少一种。比如,所述目标对象或声源相对于所述虚拟对象的距离越远,虚拟组件的透明度越高;所述目标对象或声源相对于所述虚拟对象的距离越近,虚拟组件的透明度越低;所述目标对象或声源相对于所述虚拟对象的距离越远,虚拟组件尺寸越小;所述目标对象或声源相对于所述虚拟对象的距离越近,虚拟组件的尺寸越大;所述目标对象或声源相对于所述虚拟对象的距离越远,虚拟组件采用冷色;所述目标对象或声源相对于所述虚拟对象的距离越近,虚拟组件采用暖色;所述目标对象或声源相对于所述虚拟对象的距离越远,虚拟组件亮度越低;所述目标对象或声源相对于所述虚拟对象的距离越近,虚拟组件的亮度越高;等等。需要说明的是,还可以根据所述目标对象与所述虚拟对象/声音源的距离,控制所述虚拟组件的显示形态(包括:明度、大小、亮度、或动态效果)中的至少一种。
可选的,所述方法还包括:检测所述虚拟对象在所述游戏场景中的当前朝向,通过所述方位标尺标示出所述当前朝向。方位标尺还用于标示虚拟对象在游戏场景中的当前朝向,例如标示出虚拟对象当前状态下的正前方方位。虚拟对象当前朝向的标示可以采用与声音方位标示相同的方法,例如:在方位标尺对应的位置生成虚拟对象的图形标识。可选的,如图4所示,可以在所述图形用户界面中显示一朝向指示器600,并根据所述当前朝向控制所述方位标尺30在所述图形用户界面中移动,以使得所述方位标尺30上与所述当前朝向对应的位置位于所述方位指示器600的指示位置。优选实施例可以采用固定朝向指示器600的位置,而通过移动标尺的方式来使得虚拟对象的朝向始终位于指示器600的指示位置,这样的方式,指示器600在指示朝向的同时还能过给玩家提供一个方位参考信息,玩家不用查看具体的刻度也可以大致判断声源的方位。朝向指示器600可以采用三角形、箭头或其他适合的图形样式。
在本公开的又一个具体实施例中,所述图形用户界面还包括一游戏缩略图;所述根据所述方位信息控制所述虚拟组件的显示位置包括:根据所述方位信息在所述游戏缩略图中对应的方位的显示所述虚拟组件。
游戏缩略图可以图形用户界面中的小地图。小地图(mini-map)可以是整个游戏场景的缩略图,也可以是游戏场景局部的缩略图。对于不同类型的游戏可以在小地图中显示的不同的细节(例如,可以用于辅助玩家确定他们在游戏世界中位置的地图的细节、队友的实时位置、敌军的实时位置,当前的游戏场景视野信息等)。小地图可以显示在图形用户界面中左上方、右上方或者其它位置,本示例性实施例不作限制。
所述根据所述方位信息控制所述虚拟组件的显示位置包括:根据所述方位信息在所述游戏缩略图中对应的方位的显示所述虚拟组件。例如,如图5所示,在游戏缩略图40中,根据所述方位信息在所述游戏缩略图中对应的方位的显示虚拟组件/表意图像801虚拟组件/表意图像802。在可选的实施例中,游戏缩略图40中还包含用于指示玩家虚拟对象位置和朝向的图形标识60。虚拟组件/表意图像801虚拟组件/表意图像802可以显示的游戏缩略图40的边缘位置,也可以显示在图形标识60周围的预设范围(比如,根据所述方位信息在所述游戏缩略图中对应的方位的显示虚拟组件/表意图像801虚拟组件/表意图像802,虚拟组件/表意图像801虚拟组件/表意图像802显示在以图形标识60为圆心的圆周上)。如前文所述,可以根据检测到的虚拟目标的不同的运动类型/声音类型显示不同的表意图像,此处不再赘述。
在本公开的示例性实施例中,还提供了一种补偿声音信息的视觉装置,其特征在于,应用于可呈现图形用户界面的触控终端,所述图形用户界面至少部分地包含游戏场景,以及至少部分地包含一虚拟对象,所述装置包括:
判断单元,用于判断所述游戏场景中预设区域内的一个或多个目标对象的状态是否满足预设触发条件;
获取单元,用于若所述目标对象的状态满足触发条件,获取所述目标对象的方位信息和运动信息,所述运动信息至少包括运动类型;
提供单元,用于在所述交互界面中提供一视觉控件,所述视觉控件包括一与所述目标对象的运动类型对应的虚拟组件;
控制单元,用于根据所述方位信息控制所述虚拟组件的显示位置和/或方位指向,从而标示出所述方位信息所对应的方位。
上述中各补偿声音信息的视觉装置单元模块的具体细节已经在对应的视觉补偿声音信息的方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
根据本发明其中一实施例,还提供了一种电子设备,该电子设备包括:处理组件,其进一步可以包括一个或多个处理器,以及由存储器所代表的存储器资源,用于存储可由处理组件执行的指令,例如应用程序。存储器中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件被配置为执行指令,以执行上述的补偿声音信息的视觉方法。
该电子设备还可以包括:一个电源组件,电源组件被配置成对执行电子设备进行电源管理;一个有线或无线网络接口,被配置成将电子设备连接到网络;以及一个输入输出(I/O)接口。该电子设备可以操作基于存储在存储器的操作系统,例如Android、iOS、Windows,Mac OS X,Unix,Linux,FreeBSD或类似。
根据本发明其中一实施例,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种视觉补偿声音信息的方法,其特征在于,应用于可呈现图形用户界面的触控终端,所述图形用户界面至少部分地包含游戏场景,以及至少部分地包含一虚拟对象,所述方法包括:
判断所述游戏场景中预设区域内的一个或多个目标对象的状态是否满足预设触发条件;
若所述目标对象的状态满足预设触发条件,获取所述目标对象的所述方位信息和运动信息,所述运动信息至少包括运动类型;
在所述交互界面中提供一视觉控件,所述视觉控件包括一与所述目标对象的所述运动类型对应的虚拟组件;
根据所述方位信息控制所述虚拟组件的显示位置和/或方位指向,从而标示出所述方位信息所对应的方位。
2.根据权利要求1所述的方法,其特征在于,所述虚拟组件包括表意图像和方向标识,其中,所述表意图像用于标示所述虚拟目标的运动类型,所述方向标识用于标示所述方位信息对应的方位指向。
3.根据权利要求1所述的方法,其特征在于,所述视觉控件还包括一方位标尺,所述虚拟组件包括表意图像,其中,所述表意图像用于标示所述虚拟目标的运动类型,所述方位标尺包括用于标示方位的方位标识;
所述根据所述方位信息控制所述虚拟组件的显示位置包括:
根据所述方位信息,在所述方位标尺对应的位置显示所述表意图像从而标示出所述方位信息对应的方位。
4.根据权利要求1所述的方法,其特征在于,所述图形用户界面还包括一游戏缩略图;
所述根据所述方位信息控制所述虚拟组件的显示位置包括:根据所述方位信息在所述游戏缩略图中对应的方位的显示所述虚拟组件。
5.根据权利要求1所述的方法,其特征在于,所述虚拟组件包括一表意图形,所述表意图像用于标示所述虚拟目标的运动类型。
6.根据权利要求1-5任意一项所述的方法,其特征在于,所述预设触发条件包括:所述目标对象处于预设的运动状态。
7.根据权利要求1-5任意一项所述的方法,其特征在于,所述预设触发条件包括:所述目标对象发出声音。
8.根据权利要求1-5任意一项所述的方法,其特征在于,还包括:
根据所述目标对象与所述虚拟对象的距离,控制所述虚拟组件的显示形态,所述显示形态包括大小、颜色、亮度、透明度、动态效果中的至少一种。
9.根据权利要求3所述的方法,其特征在于,还包括:检测所述虚拟对象在所述游戏场景中的当前朝向,通过所述方位标尺标示出所述当前朝向。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-9中任意一项所述视觉补偿声音信息的方法。
11.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-9中任意一项所述的视觉补偿声音信息的方法。
CN201711185290.1A 2017-11-23 2017-11-23 视觉补偿声音信息的方法、存储介质及电子设备 Pending CN108014495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711185290.1A CN108014495A (zh) 2017-11-23 2017-11-23 视觉补偿声音信息的方法、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711185290.1A CN108014495A (zh) 2017-11-23 2017-11-23 视觉补偿声音信息的方法、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN108014495A true CN108014495A (zh) 2018-05-11

Family

ID=62080734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711185290.1A Pending CN108014495A (zh) 2017-11-23 2017-11-23 视觉补偿声音信息的方法、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN108014495A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108744516A (zh) * 2018-05-29 2018-11-06 腾讯科技(深圳)有限公司 获取定位信息的方法和装置、存储介质及电子装置
CN108854069A (zh) * 2018-05-29 2018-11-23 腾讯科技(深圳)有限公司 音源确定方法和装置、存储介质及电子装置
CN109966738A (zh) * 2019-02-22 2019-07-05 网易(杭州)网络有限公司 信息处理方法、处理装置、电子设备和存储介质
CN110215698A (zh) * 2019-04-29 2019-09-10 努比亚技术有限公司 游戏中危险提示方法、可穿戴设备及计算机可读存储介质
CN110882540A (zh) * 2019-11-26 2020-03-17 腾讯科技(深圳)有限公司 音源定位方法和装置、存储介质及电子装置
CN110898430A (zh) * 2019-11-26 2020-03-24 腾讯科技(深圳)有限公司 音源定位方法和装置、存储介质及电子装置
CN110917616A (zh) * 2019-11-28 2020-03-27 腾讯科技(深圳)有限公司 虚拟场景中的方位提示方法、装置、设备及存储介质
CN111991800A (zh) * 2019-02-22 2020-11-27 网易(杭州)网络有限公司 游戏角色控制方法、装置、设备和存储介质
CN112090069A (zh) * 2020-09-17 2020-12-18 腾讯科技(深圳)有限公司 虚拟场景中的信息提示方法、装置、电子设备及存储介质
CN112245912A (zh) * 2020-11-11 2021-01-22 腾讯科技(深圳)有限公司 虚拟场景中的声音提示方法、装置、设备及存储介质
CN112451968A (zh) * 2020-11-25 2021-03-09 努比亚技术有限公司 游戏声音控制方法、移动终端及计算机可读存储介质
CN113126860A (zh) * 2019-12-31 2021-07-16 技嘉科技股份有限公司 电子装置及屏幕上显示界面的显示方法
CN113426119A (zh) * 2021-06-23 2021-09-24 网易(杭州)网络有限公司 一种游戏中的信息提示方法、装置、电子设备及存储介质
CN113546419A (zh) * 2021-07-30 2021-10-26 网易(杭州)网络有限公司 游戏地图显示方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010038296A1 (ja) * 2008-10-01 2010-04-08 任天堂株式会社 情報処理装置、情報処理システム、ならびに起動用プログラムおよびそれを記憶した記憶媒体
CN103990282A (zh) * 2014-05-29 2014-08-20 苏州乐聚一堂电子科技有限公司 声音感应游戏系统
CN104460986A (zh) * 2014-10-31 2015-03-25 王辉堂 基于立体声的游戏操作方法
US20160054807A1 (en) * 2012-11-08 2016-02-25 PlayVision Labs, Inc. Systems and methods for extensions to alternative control of touch-based devices
JP2017055935A (ja) * 2015-09-16 2017-03-23 株式会社カプコン ゲームプログラムおよびゲームシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010038296A1 (ja) * 2008-10-01 2010-04-08 任天堂株式会社 情報処理装置、情報処理システム、ならびに起動用プログラムおよびそれを記憶した記憶媒体
US20160054807A1 (en) * 2012-11-08 2016-02-25 PlayVision Labs, Inc. Systems and methods for extensions to alternative control of touch-based devices
CN103990282A (zh) * 2014-05-29 2014-08-20 苏州乐聚一堂电子科技有限公司 声音感应游戏系统
CN104460986A (zh) * 2014-10-31 2015-03-25 王辉堂 基于立体声的游戏操作方法
JP2017055935A (ja) * 2015-09-16 2017-03-23 株式会社カプコン ゲームプログラムおよびゲームシステム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YANGWEI: "终结者2荒野大逃杀脚步声怎么听 怎么辨别声源", 《终结者2荒野大逃杀脚步声怎么听 怎么辨别声源 *
一块钱的小浣熊: "终结者2荒野大逃杀怎么听脚步声?怎么判别终结者2荒野大逃杀的声源", 《终结者2荒野大逃杀怎么听脚步声?怎么判别终结者2荒野大逃杀的声源 *
嗜血屠龙: "【UP嗜血屠龙】《终结者2荒野大逃杀》,https://www.bilibili.com/video/BV1Px411u7P2?from=search&seid=2394783516663680274", 《哔哩哔哩视频》 *
李博潮: "贵族血统平民皇帝 华硕ROGM6H主板评测", 《贵族血统平民皇帝 华硕ROGM6H主板评测 *
随心: "网易手游《终结者2》正式开测:手机版大逃杀,", 《网易手游《终结者2》正式开测:手机版大逃杀》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108854069A (zh) * 2018-05-29 2018-11-23 腾讯科技(深圳)有限公司 音源确定方法和装置、存储介质及电子装置
US11241625B2 (en) 2018-05-29 2022-02-08 Tencent Technology (Shenzhen) Company Limited Positioning information prompting method and apparatus, storage medium, and electronic device
CN108854069B (zh) * 2018-05-29 2020-02-07 腾讯科技(深圳)有限公司 音源确定方法和装置、存储介质及电子装置
CN108744516A (zh) * 2018-05-29 2018-11-06 腾讯科技(深圳)有限公司 获取定位信息的方法和装置、存储介质及电子装置
CN109966738B (zh) * 2019-02-22 2020-07-31 网易(杭州)网络有限公司 信息处理方法、处理装置、电子设备和存储介质
CN109966738A (zh) * 2019-02-22 2019-07-05 网易(杭州)网络有限公司 信息处理方法、处理装置、电子设备和存储介质
US11975262B2 (en) 2019-02-22 2024-05-07 Netease (Hangzhou) Network Co., Ltd. Information processing method and apparatus, electronic device, and storage medium
CN111991800A (zh) * 2019-02-22 2020-11-27 网易(杭州)网络有限公司 游戏角色控制方法、装置、设备和存储介质
CN110215698A (zh) * 2019-04-29 2019-09-10 努比亚技术有限公司 游戏中危险提示方法、可穿戴设备及计算机可读存储介质
CN110898430A (zh) * 2019-11-26 2020-03-24 腾讯科技(深圳)有限公司 音源定位方法和装置、存储介质及电子装置
CN110882540A (zh) * 2019-11-26 2020-03-17 腾讯科技(深圳)有限公司 音源定位方法和装置、存储介质及电子装置
CN110917616A (zh) * 2019-11-28 2020-03-27 腾讯科技(深圳)有限公司 虚拟场景中的方位提示方法、装置、设备及存储介质
CN113126860A (zh) * 2019-12-31 2021-07-16 技嘉科技股份有限公司 电子装置及屏幕上显示界面的显示方法
CN112090069A (zh) * 2020-09-17 2020-12-18 腾讯科技(深圳)有限公司 虚拟场景中的信息提示方法、装置、电子设备及存储介质
WO2022057529A1 (zh) * 2020-09-17 2022-03-24 腾讯科技(深圳)有限公司 虚拟场景中的信息提示方法、装置、电子设备及存储介质
CN112245912A (zh) * 2020-11-11 2021-01-22 腾讯科技(深圳)有限公司 虚拟场景中的声音提示方法、装置、设备及存储介质
CN112451968A (zh) * 2020-11-25 2021-03-09 努比亚技术有限公司 游戏声音控制方法、移动终端及计算机可读存储介质
CN113426119A (zh) * 2021-06-23 2021-09-24 网易(杭州)网络有限公司 一种游戏中的信息提示方法、装置、电子设备及存储介质
CN113426119B (zh) * 2021-06-23 2024-08-09 网易(杭州)网络有限公司 一种游戏中的信息提示方法、装置、电子设备及存储介质
CN113546419A (zh) * 2021-07-30 2021-10-26 网易(杭州)网络有限公司 游戏地图显示方法、装置、终端及存储介质
CN113546419B (zh) * 2021-07-30 2024-04-30 网易(杭州)网络有限公司 游戏地图显示方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
CN108014495A (zh) 视觉补偿声音信息的方法、存储介质及电子设备
Hilfert et al. Low-cost virtual reality environment for engineering and construction
Linowes et al. Augmented reality for developers: Build practical augmented reality applications with unity, ARCore, ARKit, and Vuforia
CN107890673A (zh) 补偿声音信息的视觉显示方法及装置、存储介质、设备
EP3822918A1 (en) Image rendering method and apparatus, and storage medium
CN107469354B (zh) 补偿声音信息的视觉方法及装置、存储介质、电子设备
WO2020125785A1 (zh) 毛发渲染方法、装置、电子设备和存储介质
CN107899235B (zh) 信息处理方法及装置、存储介质、电子设备
JP5563709B2 (ja) タッチセンシティブ表面を介した仮想空間とのインタラクションを容易にするシステム及び方法
CN107694086B (zh) 游戏系统的信息处理方法及装置、存储介质、电子设备
Linowes Unity 2020 virtual reality projects: Learn VR development by building immersive applications and games with Unity 2019.4 and later versions
CN113559504B (zh) 信息处理方法、装置、存储介质及电子设备
US20180204380A1 (en) Method and apparatus for providing guidance in a virtual environment
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
JP2022521311A (ja) 情報処理方法、処理装置、電子機器及び記憶媒体
US20240269557A1 (en) Interface display method, apparatus, terminal, and storage medium
Taylor Develop Microsoft hololens apps now
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
CN107930119A (zh) 信息处理方法、装置、电子设备及存储介质
EP4176951A2 (en) Virtual reality law enforcement training system
WO2018103633A1 (zh) 一种图像处理的方法及装置
CN108776544A (zh) 增强现实中的交互方法及装置、存储介质、电子设备
Reynell et al. Hardware and software for skateboard trick visualisation on a mobile phone
Wang Augmented Reality with Kinect
CN113398576A (zh) 基于虚拟环境的画面控制方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180511