CN109243442A - 声音监测方法、装置及头戴显示设备 - Google Patents

声音监测方法、装置及头戴显示设备 Download PDF

Info

Publication number
CN109243442A
CN109243442A CN201811141398.5A CN201811141398A CN109243442A CN 109243442 A CN109243442 A CN 109243442A CN 201811141398 A CN201811141398 A CN 201811141398A CN 109243442 A CN109243442 A CN 109243442A
Authority
CN
China
Prior art keywords
voice signal
prompt information
external environment
sound
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811141398.5A
Other languages
English (en)
Inventor
安亮
邱绪东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201811141398.5A priority Critical patent/CN109243442A/zh
Publication of CN109243442A publication Critical patent/CN109243442A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种声音监测方法、一种声音监测装置及一种头戴显示设备,该方法通过采集外界环境中的第一声音信号并基于所述第一声音信号生成提示信息。输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。本申请方案使用户在沉浸在头戴显示设备创建的虚拟世界的同时还可以及时获知外界环境中发生的异常情况,从而避免给用户带来的安全隐患。

Description

声音监测方法、装置及头戴显示设备
技术领域
本申请实施例涉及虚拟现实技术领域,尤其涉一种声音监测方法、一种声音监测装置及头戴显示设备。
背景技术
目前基于VR(Virtual Reality,虚拟现实)技术的头戴显示设备通过构建一个虚拟的三维空间,使用户看电影或玩游戏时完全沉浸在一个虚拟世界中,从而获得很好地沉浸式交互体验。
但由于为了保证用户获得更好的沉浸式体验,头戴显示设备需要通过遮蔽用户对真实世界的感知,特别是用户的视觉和听觉对真实世界的感知。当用户佩戴头戴显示设备后会给眼部创建一个密闭的环境,使用户无法看到外部世界,当用户再通过入耳式耳机或压盖式耳机感受VR设备的声音时,特别是音量设置较大时,用户就会完全沉浸在头戴显示设备建立的虚拟沉浸式体验中甚至连外界的声音都无法感知到。
当用户长时间佩戴头戴显示设备完全忽略或忘记外部真实世界时,可能会存在一定的安全隐患。例如烧水壶鸣响、有人敲门、有人呼救等异常情况发生时,如果用户没有及时响应,可能会存在一定的危险性或导致一些无法预计的后果。
发明内容
本申请实施例提供一种声音监测方法、装置及设备,用以在用户使用头戴显示设备获得沉浸式体验的同时,可以通过监测外界环境的声音,使用户可以及时获知外界环境中发生的异常情况,避免给用户带来的安全隐患。
本申请提供了一种声音监测方法,包括:
采集外界环境中的第一声音信号;
基于所述第一声音信号生成提示信息;
输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。
优选地,所述基于所述第一声音信号生成提示信息包括:
将所述第一声音信号作为所述提示信息。
优选地,所述输出所述提示信息包括:
将所述提示信息与头戴显示设备中的多媒体声音信号进行混音处理,生成第二声音信号;
输出所述第二声音信号至所述头戴显示设备的耳机,以使所述用户基于所述第二声音信号中的提示信息及时获知外界环境中发生的异常情况。
优选地,所述输出所述第二声音信号至所述头戴显示设备的耳机之后,还包括:
接收针对所述提示信息的音量调节指令;
调节所述第二声音信号中所述提示信息的音量大小。
优选地,所述基于所述第一声音信号生成提示信息包括:
确定所述第一声音信号中是否包含目标信息;其中,所述目标信息为目标关键字或目标声音;
如果包含所述目标信息,基于预设提醒模式生成所述提示信息。
优选地,所述预设提醒模式包括震动提醒模式、闪屏提醒模式、文字提醒模式或语音提醒模式。
优选地,所述目标信息为所述目标关键字;
所述确定所述第一声音信号中是否包含目标信息包括:
识别所述第一声音信号中的待测语音信号;
将所述待测语音信号转换为待测文字信息;
判断所述待测文字信息与所述目标关键字是否匹配;
如果匹配,确认包含所述目标信息;
如果不匹配,确认不包含所述目标信息。
优选地,在采集外界环境中的第一声音信号之前,还包括:
确定所述头戴显示设备的麦克风的开关状态;
如果所述麦克风处于关闭状态,控制所述麦克风打开。
本申请还提供了一种声音监测装置,包括:
采集模块,用于采集外界环境中的第一声音信号;
提示信息生成模块,用于基于所述第一声音信号生成提示信息;
输出模块,用于输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。
本申请提供了一种头戴显示设备,包括处理组件和存储组件;所述存储组件存储一条或多条计算机程序指令;所述处理组件用于调用并执行所述一条或多条计算机程序指令以实现:
采集外界环境中的第一声音信号;
基于所述第一声音信号生成提示信息;
输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。
本申请实施实例提供了一种声音监测方法、一种声音监测装置及头戴显示设备,该方法通过头戴显示设备的麦克风采集外界环境中的第一声音信号并基于所述第一声音信号生成提示信息。通过输出所述提示信息,以使用户在沉浸在头戴显示设备创建的虚拟世界的同时还可以及时获知外界环境中发生的异常情况,从而避免给用户带来的安全隐患。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请提供的一种声音监测方法的一个实施例的流程图;
图2示出了本申请提供的一种声音监测方法的又一个实施例的流程图;
图3示出了本申请提供的一种声音监测方法的另一个实施例的流程图;
图4示出了本申请提供的一种声音监测装置的一个实施例的结构示意图;
图5示出了本申请提供的一种声音监测装置的又一个实施例的结构示意图;
图6示出了本申请提供的一种声音监测装置的另一个实施例的结构示意图;
图7示出了本申请提供的一种头戴显示设备的一个实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本申请技术方案适用但不限于基于虚拟现实的头戴显示设备中。
下面将结合附图对本申请技术方案进行详细描述。
图1为本申请实施例提供的一种声音监测方法的一个实施例的流程图。该方法可以用于基于VR(Virtual Reality,虚拟现实)的头戴显示设备中,该方法可以包括:
S101:采集外界环境中的第一声音信号。
由于基于VR的头戴显示设备通常会自带麦克风和耳机,当然该头戴显示设备还可以外接耳机和麦克风设备,本申请实施例可以通过头戴显示设备自带的麦克风或连接的麦克风设备采集外界环境中的第一声音信号。
当然,可以理解的是,用户希望可以根据自己的实际需求选择是否在佩戴头戴显示设备时,对外界环境中的声音进行监测。因此,用户可通过头戴显示设备的菜单选项选择是否开启头戴显示设备的声音监测功能。
实际应用中,头戴显示设备的麦克风在用户观看VR视频或听音乐时处于关闭状态,当在玩游戏或者语音控制时处于打开状态。因此,为了保证用户在开启该头戴显示设备的声音监测功能时,麦克风可以采集到外界环境的声音以保证对外部环境声音的正常监测,在采集外界环境中的第一声音信号之前,还可以包括:
确定所述头戴显示设备的麦克风的开关状态;
如果所述麦克风处于关闭状态,控制所述麦克风打开。
S102:基于所述第一声音信号生成提示信息。
当采集到该第一声音信号后,为了便于检测或处理该第一声音信号,需要通过CODEC(编译码器、Coder-Decoder)将采集第一声音信号进行A/D(模拟信号/数字信号)转换。基于该经过A/D转换的第一声音信号,生成提示信息。可以理解的是,该提示信息可以是基于检测第一声音信号确定外界环境中出现异常情况是生成,也可以只要采集到外界环境中的第一声音信号就生成该提示信息,在此不做具体限定。
S103:输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。
头戴显示设备通过响应该输出的提示信息,可使得用户及时获知外界环境中发生的异常情况,使得用户在获得沉浸式体验的同时可根据自己提示信息判断选择是否需要摘掉头戴显示设备及时响应外界环境中的异常情况,以避免给用户带来的安全隐患。
本申请实施例中,基于采集获得外界环境中的第一声音信号生成提示信息并通过输出所述提示信息,以使用户在沉浸在头戴显示设备创建的虚拟世界的同时还可以及时获知外界环境中发生的异常情况,从而避免给用户带来的安全隐患。
图2为本申请实施例提供的一种声音监测方法的另一个实施例的流程图。该方法可以包括:
S201:采集外界环境中的第一声音信号。
S202:将所述第一声音信号作为提示信息。
S203:将提示信息与头戴显示设备中的多媒体声音信号进行混音处理,生成第二声音信号。
实际应用中,将第一声音信号作为提示信号后,头戴显示设备将采集到的第一声音信号进行A/D转换获得该第一声音信号对应的数字信号,并与头戴显示设备中产生的多媒体声音信号对应的数字信号进行混音处理,得到第二声音信号对应的数字信号,再通过D/A(数/模)转换得到第二声音信号,该第二声音信号即将第一声音信号与该多媒体声音信号叠加获得。
S204:输出第二声音信号至头戴显示设备的耳机,以使用户基于第二声音信号中的所述提示信息及时获知外界环境中发生的异常情况。
用户在听到头戴显示设备的自身的多媒体声音的同时还可以听到混杂有外界环境中的第一声音信号,从而通过该第二声音信号中的混杂的第一声音信号感知到外界环境,当外界环境出现异常变化时,用户可及时做出响应。
可选地,在某些实施例中,为了尽量减少对头戴显示设备自身多媒体声音的影响,用户可根据自己的视听体验调节第二声音信号中的提示信息的音量。输出所述第二声音信号至头戴显示设备的耳机之后,还可以包括:
接收针对提示信息的音量调节指令;
调节第二声音信号中提示信息的音量大小。
用户可以用过设置菜单分别调节第二声音信号中第一声音信号和多媒体声音信号的音量大小。通常为了不影响用户的沉浸式体验,可以降低第二声音信号中第一声音信号至用户可以感知到的音量即可。
当然,可以理解的是,由于现有的耳机设备的隔音效果处理的非常好,只要用户佩戴上耳机后,即使该耳机不发出任何声音,用户也感知不到外界环境的声音,因此,当该头戴显示设备存在没有输出多媒体声音信号的情况时,可以省略混音处理过程,直接输出该第一声音信号至头戴显示设备的耳机中。
本申请实施例中,为了使用户在佩戴头戴显示设备获得沉浸式体验的同时,通过将采集到的第一声音信号作为提示信息并与头戴显示设备生成的多媒体声音信号进行混音处理后输出至头戴显示设备的耳机中,使得用户在头戴显示设备创建的虚拟世界获得沉浸式体验的同时,可以实时感知到外界环境中的声音,当外界环境出现异常变化时用户可根据自己判断及时做出响应,从而避免给用户带来的安全隐患。
本申请实施例中,通过将采集到的第一声音信号作为提示信息的方式,使得用户在进行观影或游戏时,由于会一直混杂外界环境中的声音,实际中大多数时间外界环境中的声音为无效提示信息,但会分散用户注意力使用户无法完全沉浸在虚拟世界中,从而降低了用户体验。
因此,为了进一步提高用户体验,图3实施例提供了一种声音监测方法的另一个实施例的流程图。该方法可以包括:
S301:采集外界环境中的第一声音信号。
S302:确定所述第一声音信号中是否包含目标信息。
其中,所述目标信息可以为目标关键字或目标声音。
可选地,目标提示信息例如可以是“爸爸”、“开门”、“救命”等目标关键字,也可以是“敲门声”、“烧水壶鸣响声”、“爸爸”、“开门”、“救命”等声音信号对应的目标声音。其中,目标关键字和目标关键声音可以是用户通过输入设备输入目标关键字或通过录音输入目标声音,也可以是通过设置菜单预先设定的默认目标信息,在此不做具体限定。可选地,在某些实施例中,确定所述第一声音信号中是否包含目标信息可以包括:
识别所述第一声音信号中的待测语音信号;
将所述待测语音信号转换为待测文字信息;
实际采集到的第一声音信号不仅包括人的声音还可以包括环境噪声例如马路上的车辆行驶声音、家庭中电器声音、动物的鸣叫声、脚步声等。当目标信息为关键字时,需要首先识别出第一声音信号中的语音信号,即人说话的声音,然后将该语音信号转换为待测文字信息。
判断所述待测文字信息与所述目标关键字是否匹配;
通过将待测文字信息与每个预设的目标关键字进行匹配,以待测文字信息中是否包含目标关键字。
如果匹配,确认包含所述目标信息;
如果不匹配,确认不包含所述目标信息。
当然,还可以将目标关键字转换为目标语音信息,将该目标语音信息与第一声音信号中的语音信号进行匹配,具体地,可以通过分别对目标语音信号与第一声音信号中的语音信号进行频谱分析和对比,以确定第一声音信号中是否包含目标语音信息。
而目标声音可以包括语音信号也可包括环境噪声,因此,可以通过分别对目标声音与第一声音信号进行频谱分析和对比,以确定第一声音信号中是否包含目标声音。
S303:如果包含所述目标信息,基于预设提醒模式生成提示信息。
S304:输出提示信息,以使用户及时获知外界环境中发生的异常情况。
可选地,在某些实施例中,所述预设提醒模式包括震动提醒模式、闪屏提醒模式、文字提醒模式或语音提醒模式。用户可以在开启声音监测前根据自己喜好选择预设提醒模式。
作为一种可实现的实施方式,所述预设提醒模式为所述震动提醒模式;
所述基于预设提醒模式生成所述提示信息可以包括:
基于所述震动提醒模式生成震动控制指令。
所述输出提示信息可以包括:
输出震动控制指令至所述头戴显示设备的震动模块,以使所述头戴显示设备震动,以提醒用户外界环境中发生的异常情况。
作为一种可实现的实施方式,所述预设提醒模式为闪屏提醒模式;
所述基于预设提醒模式生成所述提示信息可以包括:
基于闪屏提醒模式生成闪屏控制指令。
所述输出提示信息可以包括:
输出闪屏控制指令至头戴显示设备的显示屏幕,以控制该显示屏幕通过闪屏的方式提醒用户外界环境中发生的异常情况。
实际应用中,还可以是显示屏幕边缘突然变亮或颜色突变等方式均可适用于通过显示屏幕提醒用户外界环境中发生的异常情况。
作为一种可实现的实施方式,所述预设提醒模式为所述文字提醒模式;
所述基于预设提醒模式生成所述提示信息可以包括:
基于所述文字提醒模式生成提示文字。
所述输出提示信息可以包括:
输出提示文字至头戴显示设备的显示屏幕,将提示文字以弹幕或弹窗等形式,在现实屏幕中显示以提醒用户外界环境中发生的异常情况。
提示文字可以是“先生,外部有情况”、“救命”、“危险”等,可针对不同的情况进行设置,在此不做具体限定。
作为一种可实现的实施方式,所述预设提醒模式为所述语音提醒模式;
所述基于预设提醒模式生成所述提示信息可以包括:
基于所述语音提醒模式生成提示语音。
所述输出提示信息可以包括:
输出所述提示语音至头戴显示设备的耳机,以通过耳机播放该提示语音提醒用户外界环境中发生的异常情况。当然,还可以基于语音提醒模式生成提示铃声,具体可以根据用户喜好进行设定。
实际应用中,当头戴显示设备进行语音提醒时,如果头戴显示设备的耳机正在播放多媒体声音,可以触发暂停播放多媒体声音。也可以将提示语音与多媒体声音进行混音后播放,在此不做具体限定。
当然,本申请实施例中预设提醒模式还可以是上述震动提醒模式、闪屏提醒模式、文字提醒模式及语音提醒模式中至少两种提醒模式的组合。例如,在进行震动提醒的同时,还可以进行闪屏提醒或文字提醒;或者在闪屏提醒的同时,进行语音提醒,以使用户及时响应该提示信息,在此不做具体限定。
可以理解的是,本申请实施例的预设提醒模式包括但不限于上述提醒模式,还可以是其它任何可实现的快速、有效地提醒模式的一种或多种的组合均可适用于本申请实施例。
本申请实施例中,为了进一步提高用户体验,对采集获外界环境的第一声音信号进行识别,仅在确定该第一声音信号中包含有目标信息时,才会按照预设提醒模式生成提示信息并及时输出该提示信息,以使头戴显示设备按照相应提醒模式,及时提醒用户外界环境中发生的异常情况,使得用户对该异常情况及时做出响应,从而避免给用户带来的安全隐患。
图4为本申请实施例提供的一种声音监测装置的一个实施例的结构示意图。该装置可以用于基于VR的头戴显示设备中,该装置可以包括:
采集模块401,用于采集外界环境中的第一声音信号。
由于基于VR的头戴显示设备通常会自带麦克风和耳机,当然该头戴显示设备还可以外接耳机和麦克风设备,本申请实施例可以通过头戴显示设备自带的麦克风或连接的麦克风设备采集外界环境中的第一声音信号。
当然,可以理解的是,用户希望可以根据自己的实际需求选择是否在佩戴头戴显示设备时,对外界环境中的声音进行监测。因此,用户可通过头戴显示设备的菜单选项选择是否开启头戴显示设备的声音监测功能。
实际应用中,头戴显示设备的麦克风在用户观看VR视频或听音乐时处于关闭状态,当在玩游戏或者语音控制时处于打开状态。因此,为了保证用户在开启该头戴显示设备的声音监测功能时,麦克风可以采集到外界环境的声音以保证对外部环境声音的正常监测,在采集模块401之前,还可以包括:
第一确定模块,用于确定所述头戴显示设备的麦克风的开关状态;
麦克风控制模块,用于如果所述麦克风处于关闭状态,控制所述麦克风打开。
提示信息生成模块402,用于基于所述第一声音信号生成提示信息。
当采集到该第一声音信号后,为了便于检测或处理该第一声音信号,需要通过CODEC(编译码器、Coder-Decoder)将采集第一声音信号进行A/D(模拟信号/数字信号)转换。基于该经过A/D转换的第一声音信号,生成提示信息。可以理解的是,该提示信息可以是基于检测第一声音信号确定外界环境中出现异常情况是生成,也可以只要采集到外界环境中的第一声音信号就生成该提示信息,在此不做具体限定。
输出模块403,用于输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。
头戴显示设备通过响应该输出的提示信息,可使得用户及时获知外界环境中发生的异常情况,使得用户在获得沉浸式体验的同时可根据自己提示信息判断选择是否需要摘掉头戴显示设备及时响应外界环境中的异常情况,以避免给用户带来的安全隐患。
本申请实施例中,基于采集获得外界环境中的第一声音信号生成提示信息并通过输出所述提示信息,以使用户在沉浸在头戴显示设备创建的虚拟世界的同时还可以及时获知外界环境中发生的异常情况,从而避免给用户带来的安全隐患。
图5为本申请实施例提供的一种声音监测装置的另一个实施例的结构示意图。该装置可以包括:
采集模块501,用于采集外界环境中的第一声音信号。
提示信息生成模块502,用于将所述第一声音信号作为提示信息。
输出模块503,用于输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。
输出模块503可以包括:
混音处理单元511,用于将提示信息与头戴显示设备中的多媒体声音信号进行混音处理,生成第二声音信号。
实际应用中,将第一声音信号作为提示信号后,头戴显示设备将采集到的第一声音信号进行A/D转换获得该第一声音信号对应的数字信号,并与头戴显示设备中产生的多媒体声音信号对应的数字信号进行混音处理,得到第二声音信号对应的数字信号,再通过D/A(数/模)转换得到第二声音信号,该第二声音信号即将第一声音信号与该多媒体声音信号叠加获得。
第二声音信号输出单元512,用于输出第二声音信号至头戴显示设备的耳机,以使用户基于第二声音信号中的所述提示信息及时获知外界环境中发生的异常情况。
用户在听到头戴显示设备的自身的多媒体声音的同时还可以听到混杂有外界环境中的第一声音信号,从而通过该第二声音信号中的混杂的第一声音信号感知到外界环境,当外界环境出现异常变化时,用户可及时做出响应。
可选地,在某些实施例中,为了尽量减少对头戴显示设备自身多媒体声音的影响,用户可根据自己的视听体验调节第二声音信号中的提示信息的音量。输出模块503之后,还可以包括:
第一接收模块,用于接收针对提示信息的音量调节指令;
音量调节模块,用于调节第二声音信号中提示信息的音量大小。
用户可以用过设置菜单分别调节第二声音信号中第一声音信号和多媒体声音信号的音量大小。通常为了不影响用户的沉浸式体验,可以降低第二声音信号中第一声音信号至用户可以感知到的音量即可。
当然,可以理解的是,由于现有的耳机设备的隔音效果处理的非常好,只要用户佩戴上耳机后,即使该耳机不发出任何声音,用户也感知不到外界环境的声音,因此,当该头戴显示设备存在没有输出多媒体声音信号的情况时,可以省略混音处理过程,直接输出该第一声音信号至头戴显示设备的耳机中。
本申请实施例中,为了使用户在佩戴头戴显示设备获得沉浸式体验的同时,通过将采集到的第一声音信号作为提示信息并与头戴显示设备生成的多媒体声音信号进行混音处理后输出至头戴显示设备的耳机中,使得用户在头戴显示设备创建的虚拟世界获得沉浸式体验的同时,可以实时感知到外界环境中的声音,当外界环境出现异常变化时用户可根据自己判断及时做出响应,从而避免给用户带来的安全隐患。
本申请实施例中,通过将采集到的第一声音信号作为提示信息的方式,使得用户在进行观影或游戏时,由于会一直混杂外界环境中的声音,实际中大多数时间外界环境中的声音为无效提示信息,但会分散用户注意力使用户无法完全沉浸在虚拟世界中,从而降低了用户体验。
因此,为了进一步提高用户体验,图6实施例提供了一种声音监测装置的另一个实施例的结构示意图。该装置可以包括:
采集模块601,用于采集外界环境中的第一声音信号。
提示信息生成模块602,用于基于所述第一声音信号生成提示信息。
提示信息生成模块602可以包括:
第一确定单元611,用于确定所述第一声音信号中是否包含目标信息。
其中,所述目标信息可以为目标关键字或目标声音。
可选地,目标提示信息例如可以是“爸爸”、“开门”、“救命”等目标关键字,也可以是“敲门声”、“烧水壶鸣响声”、“爸爸”、“开门”、“救命”等声音信号对应的目标声音。其中,目标关键字和目标关键声音可以是用户通过输入设备输入目标关键字或通过录音输入目标声音,也可以是通过设置菜单预先设定的默认目标信息,在此不做具体限定。可选地,在某些实施例中,第一确定单元611具体可以用于:
识别所述第一声音信号中的待测语音信号;
将所述待测语音信号转换为待测文字信息;
实际采集到的第一声音信号不仅包括人的声音还可以包括环境噪声例如马路上的车辆行驶声音、家庭中电器声音、动物的鸣叫声、脚步声等。当目标信息为关键字时,需要首先识别出第一声音信号中的语音信号,即人说话的声音,然后将该语音信号转换为待测文字信息。
判断所述待测文字信息与所述目标关键字是否匹配;
通过将待测文字信息与每个预设的目标关键字进行匹配,以待测文字信息中是否包含目标关键字。
如果匹配,确认包含所述目标信息;
如果不匹配,确认不包含所述目标信息。
当然,还可以将目标关键字转换为目标语音信息,将该目标语音信息与第一声音信号中的语音信号进行匹配,具体地,可以通过分别对目标语音信号与第一声音信号中的语音信号进行频谱分析和对比,以确定第一声音信号中是否包含目标语音信息。
而目标声音可以包括语音信号也可包括环境噪声,因此,可以通过分别对目标声音与第一声音信号进行频谱分析和对比,以确定第一声音信号中是否包含目标声音。
提示信息生成单元612,用于如果包含所述目标信息,基于预设提醒模式生成所述提示信息。
输出模块603,用于输出提示信息,以使用户及时获知外界环境中发生的异常情况。
可选地,在某些实施例中,所述预设提醒模式包括震动提醒模式、闪屏提醒模式、文字提醒模式或语音提醒模式。用户可以在开启声音监测前根据自己喜好选择预设提醒模式。
作为一种可实现的实施方式,所述预设提醒模式为所述震动提醒模式;
提示信息生成单元612具体可以用于:
基于所述震动提醒模式生成震动控制指令。
输出模块603具体可以用于:
输出震动控制指令至所述头戴显示设备的震动模块,以使所述头戴显示设备震动,以提醒用户外界环境中发生的异常情况。
作为一种可实现的实施方式,所述预设提醒模式为闪屏提醒模式;
提示信息生成单元612具体可以用于:
基于闪屏提醒模式生成闪屏控制指令。
输出模块603具体可以用于:
输出闪屏控制指令至头戴显示设备的显示屏幕,以控制该显示屏幕通过闪屏的方式提醒用户外界环境中发生的异常情况。
实际应用中,还可以是显示屏幕边缘突然变亮或颜色突变等方式均可适用于通过显示屏幕提醒用户外界环境中发生的异常情况。
作为一种可实现的实施方式,所述预设提醒模式为所述文字提醒模式;
提示信息生成单元612具体可以用于:
基于所述文字提醒模式生成提示文字。
输出模块603具体可以用于:
输出提示文字至头戴显示设备的显示屏幕,将提示文字以弹幕或弹窗等形式,在现实屏幕中显示以提醒用户外界环境中发生的异常情况。
提示文字可以是“先生,外部有情况”、“救命”、“危险”等,可针对不同的情况进行设置,在此不做具体限定。
作为一种可实现的实施方式,所述预设提醒模式为所述语音提醒模式;
提示信息生成单元612具体可以用于:
基于所述语音提醒模式生成提示语音。
输出模块603具体可以用于:
输出所述提示语音至头戴显示设备的耳机,以通过耳机播放该提示语音提醒用户外界环境中发生的异常情况。当然,还可以基于语音提醒模式生成提示铃声,具体可以根据用户喜好进行设定。
实际应用中,当头戴显示设备进行语音提醒时,如果头戴显示设备的耳机正在播放多媒体声音,可以触发暂停播放多媒体声音。也可以将提示语音与多媒体声音进行混音后播放,在此不做具体限定。
当然,本申请实施例中预设提醒模式还可以是上述震动提醒模式、闪屏提醒模式、文字提醒模式及语音提醒模式中至少两种提醒模式的组合。例如,在进行震动提醒的同时,还可以进行闪屏提醒或文字提醒;或者在闪屏提醒的同时,进行语音提醒,以使用户及时响应该提示信息,在此不做具体限定。
可以理解的是,本申请实施例的预设提醒模式包括但不限于上述提醒模式,还可以是其它任何可实现的快速、有效地提醒模式的一种或多种的组合均可适用于本申请实施例。
本申请实施例中,为了进一步提高用户体验,对采集获外界环境的第一声音信号进行识别,仅在确定该第一声音信号中包含有目标信息时,才会按照预设提醒模式生成提示信息并及时输出该提示信息,以使头戴显示设备按照相应提醒模式,及时提醒用户外界环境中发生的异常情况,使得用户对该异常情况及时做出响应,从而避免给用户带来的安全隐患。
图7为本申请实施例提供的一种头戴显示设备一个实施例的结构示意图。该设备可以包括处理组件701和存储组件702;所述存储组件702存储一条或多条计算机程序指令。
所述处理组件701用于调用并执行所述一条或多条计算机程序指令以实现:
采集外界环境中的第一声音信号;基于所述第一声音信号生成提示信息;输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。
可选地,该处理组件701还用于执行前述各方法步骤中的全部或部分步骤。
其中,该处理组件701可以包括一个或多个处理器来执行计算机指令。当然处理组件701也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
该存储组件702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当然,电子设备还可以包括其他部件,例如输入/输出接口、通信组件等。输入/输出接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是输出设备、输入设备等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种声音监测方法,其特征在于,包括:
采集外界环境中的第一声音信号;
基于所述第一声音信号生成提示信息;
输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一声音信号生成提示信息包括:
将所述第一声音信号作为所述提示信息。
3.根据权利要求2所述的方法,其特征在于,所述输出所述提示信息包括:
将所述提示信息与头戴显示设备中的多媒体声音信号进行混音处理,生成第二声音信号;
输出所述第二声音信号至所述头戴显示设备的耳机,以使所述用户基于所述第二声音信号中的提示信息及时获知外界环境中发生的异常情况。
4.根据权利要求3所述的方法,其特征在于,所述输出所述第二声音信号至所述头戴显示设备的耳机之后,还包括:
接收针对所述提示信息的音量调节指令;
调节所述第二声音信号中所述提示信息的音量大小。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一声音信号生成提示信息包括:
确定所述第一声音信号中是否包含目标信息;其中,所述目标信息为目标关键字或目标声音;
如果包含所述目标信息,基于预设提醒模式生成所述提示信息。
6.根据权利要求5所述的方法,其特征在于,所述预设提醒模式包括震动提醒模式、闪屏提醒模式、文字提醒模式或语音提醒模式。
7.根据所述权利要求1所述的方法,其特征在于,所述目标信息为所述目标关键字;
所述确定所述第一声音信号中是否包含目标信息包括:
识别所述第一声音信号中的待测语音信号;
将所述待测语音信号转换为待测文字信息;
判断所述待测文字信息与所述目标关键字是否匹配;
如果匹配,确认包含所述目标信息;
如果不匹配,确认不包含所述目标信息。
8.根据权利要求1所述的方法,其特征在于,在采集外界环境中的第一声音信号之前,还包括:
确定所述头戴显示设备的麦克风的开关状态;
如果所述麦克风处于关闭状态,控制所述麦克风打开。
9.一种声音监测装置,其特征在于,包括:
采集模块,用于采集外界环境中的第一声音信号;
提示信息生成模块,用于基于所述第一声音信号生成提示信息;
输出模块,用于输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。
10.一种头戴显示设备,其特征在于,包括处理组件和存储组件;所述存储组件存储一条或多条计算机程序指令;所述处理组件用于调用并执行所述一条或多条计算机程序指令以实现:
采集外界环境中的第一声音信号;
基于所述第一声音信号生成提示信息;
输出所述提示信息,以使用户及时获知外界环境中发生的异常情况。
CN201811141398.5A 2018-09-28 2018-09-28 声音监测方法、装置及头戴显示设备 Pending CN109243442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811141398.5A CN109243442A (zh) 2018-09-28 2018-09-28 声音监测方法、装置及头戴显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811141398.5A CN109243442A (zh) 2018-09-28 2018-09-28 声音监测方法、装置及头戴显示设备

Publications (1)

Publication Number Publication Date
CN109243442A true CN109243442A (zh) 2019-01-18

Family

ID=65054038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811141398.5A Pending CN109243442A (zh) 2018-09-28 2018-09-28 声音监测方法、装置及头戴显示设备

Country Status (1)

Country Link
CN (1) CN109243442A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111700343A (zh) * 2020-06-09 2020-09-25 南京耀宇医疗科技有限公司 一种基于环境音监测提供信息提示的智能手环
CN111863031A (zh) * 2020-08-10 2020-10-30 南京声科科技有限公司 加载于已有摄像头网络的音频监测装置及其监测方法
WO2021000817A1 (zh) * 2019-06-29 2021-01-07 华为技术有限公司 环境音处理方法及相关装置
CN112634883A (zh) * 2019-09-24 2021-04-09 音频分析有限公司 控制用户界面
CN112820278A (zh) * 2021-01-23 2021-05-18 广东美她实业投资有限公司 基于智能耳机的家用门铃声自动监测方法、设备及介质
CN113031265A (zh) * 2021-02-05 2021-06-25 杭州小派智能科技有限公司 一种分体式的ar显示设备和显示方法
TWI745815B (zh) * 2019-12-26 2021-11-11 陳筱涵 工安防噪耳機
CN114999128A (zh) * 2022-04-15 2022-09-02 英华达(上海)科技有限公司 虚实场景中的提醒方法、装置、系统及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393986A (zh) * 2011-08-11 2012-03-28 重庆市科学技术研究院 基于音频判别的盗伐检测方法、装置及系统
CN106373325A (zh) * 2016-08-03 2017-02-01 厦门傅里叶电子有限公司 用于虚拟现实设备安全提醒的方法
CN106775566A (zh) * 2016-12-30 2017-05-31 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
CN107134282A (zh) * 2017-05-31 2017-09-05 山东共达电声股份有限公司 一种声音信号侦测反馈设备及其实现方法
WO2018152692A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种手机来电提醒的方法以及vr头盔
CN108540661A (zh) * 2018-03-30 2018-09-14 广东欧珀移动通信有限公司 信号处理方法、装置、终端、耳机及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393986A (zh) * 2011-08-11 2012-03-28 重庆市科学技术研究院 基于音频判别的盗伐检测方法、装置及系统
CN106373325A (zh) * 2016-08-03 2017-02-01 厦门傅里叶电子有限公司 用于虚拟现实设备安全提醒的方法
CN106775566A (zh) * 2016-12-30 2017-05-31 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
WO2018152692A1 (zh) * 2017-02-22 2018-08-30 深圳市卓梦科技有限责任公司 一种手机来电提醒的方法以及vr头盔
CN107134282A (zh) * 2017-05-31 2017-09-05 山东共达电声股份有限公司 一种声音信号侦测反馈设备及其实现方法
CN108540661A (zh) * 2018-03-30 2018-09-14 广东欧珀移动通信有限公司 信号处理方法、装置、终端、耳机及可读存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021000817A1 (zh) * 2019-06-29 2021-01-07 华为技术有限公司 环境音处理方法及相关装置
CN112634883A (zh) * 2019-09-24 2021-04-09 音频分析有限公司 控制用户界面
TWI745815B (zh) * 2019-12-26 2021-11-11 陳筱涵 工安防噪耳機
CN111700343A (zh) * 2020-06-09 2020-09-25 南京耀宇医疗科技有限公司 一种基于环境音监测提供信息提示的智能手环
CN111863031A (zh) * 2020-08-10 2020-10-30 南京声科科技有限公司 加载于已有摄像头网络的音频监测装置及其监测方法
CN111863031B (zh) * 2020-08-10 2024-06-07 南京声科科技有限公司 加载于已有摄像头网络的音频监测装置及其监测方法
CN112820278A (zh) * 2021-01-23 2021-05-18 广东美她实业投资有限公司 基于智能耳机的家用门铃声自动监测方法、设备及介质
CN113031265A (zh) * 2021-02-05 2021-06-25 杭州小派智能科技有限公司 一种分体式的ar显示设备和显示方法
CN114999128A (zh) * 2022-04-15 2022-09-02 英华达(上海)科技有限公司 虚实场景中的提醒方法、装置、系统及相关设备

Similar Documents

Publication Publication Date Title
CN109243442A (zh) 声音监测方法、装置及头戴显示设备
US9711056B1 (en) Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
CN109889901A (zh) 播放终端的播放控制方法、装置、设备和存储介质
US11151994B2 (en) Methods and systems for managing voice commands and the execution thereof
US10649729B2 (en) Audio device with auditory system display and methods for use therewith
US11205426B2 (en) Information processing device, information processing method, and program
US20140314247A1 (en) Method for controlling terminal device and the smart terminal device thereof
US9876985B2 (en) Providing a log of events to an isolated user
US10924417B2 (en) Cognitive communication channel-adaptation based on context
EP3695618B1 (en) Augmented environmental awareness system
US10359993B2 (en) Contextual user interface based on environment
US11030879B2 (en) Environment-aware monitoring systems, methods, and computer program products for immersive environments
US11252497B2 (en) Headphones providing fully natural interfaces
US11302027B2 (en) Methods and systems for managing virtual reality sessions
CN106850774A (zh) 虚拟现实终端的环境交互系统及方法
TW202347096A (zh) 用於受損使用者或具備殘疾的使用者之智慧眼鏡介面
US11991263B2 (en) Notification delivery in a virtual space based on a user being in a flow state
CN108022601A (zh) 虚拟现实实时提醒方法和虚拟现实设备
WO2020261078A1 (en) Cognitive modification of verbal communications from an interactive computing device
US20230281335A1 (en) Privacy system for an electronic device
US20230156067A1 (en) Methods and devices for monitoring quality of wireless content
US11310296B2 (en) Cognitive content multicasting based on user attentiveness
Feuz et al. CONTEXT-SENSITIVE AUDIO NOTIFICATIONS
CN117859147A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201029

Address after: 261061 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261061 East of Dongming Road, Weifang High-tech Zone, Weifang City, Shandong Province, North of Yuqing East Street (Room 502, Goertek Office Building)

Applicant before: GoerTek Optical Technology Co.,Ltd.