CN106331954A - 信息处理方法及装置 - Google Patents

信息处理方法及装置 Download PDF

Info

Publication number
CN106331954A
CN106331954A CN201610892091.3A CN201610892091A CN106331954A CN 106331954 A CN106331954 A CN 106331954A CN 201610892091 A CN201610892091 A CN 201610892091A CN 106331954 A CN106331954 A CN 106331954A
Authority
CN
China
Prior art keywords
sound
sound signal
difference
amplitudes
sound signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610892091.3A
Other languages
English (en)
Other versions
CN106331954B (zh
Inventor
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610892091.3A priority Critical patent/CN106331954B/zh
Publication of CN106331954A publication Critical patent/CN106331954A/zh
Priority to PCT/CN2017/100711 priority patent/WO2018068597A1/zh
Application granted granted Critical
Publication of CN106331954B publication Critical patent/CN106331954B/zh
Priority to US16/294,422 priority patent/US10638223B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Alarm Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请提供了一种信息处理方法，包括：采集两个以上声音信号；对所述两个以上声音信号进行两两组合，得到N个声音信号组合；分别计算每个声音信号组合内两个声音信号幅值的差值，得到N个声音信号幅值的差值；以及将所述N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，生成通知消息，并播放所述通知消息。本申请还提供了实现上述方法的信息处理装置。

Description

信息处理方法及装置
技术领域
本申请涉及信息处理技术领域，尤其涉及一种信息处理方法与装置。
背景技术
随着虚拟现实技术的发展，各种新型增强使用者视觉、听觉体验的头戴装置不断出现。用户可以佩戴头戴装置进行游戏或者观看电影等。为了保证使用者能够得到最好的音视频效果，这些头戴装置往往会使用密闭的设计，以隔绝使用者眼睛和耳朵与外界的联系，从而可以带给使用者更加逼真、刺激的使用效果。例如，目前用户在玩游戏或者观看电影时经常使用的沉浸式的头戴设备。然而，使用这种头戴设备的使用者在使用过程中通常不能很好地接收来自外界信息，例如，如果有其他人需要与头戴设备的使用者进行交流，则通常需要依靠物理触碰使用者或者大声呼叫的方式才能引起头戴设备使用者的注意。
发明内容
本申请的实例提供了一种信息处理方法，该方法包括：采集两个以上声音信号；对所述两个以上声音信号进行两两组合，得到N个声音信号组合；分别计算每个声音信号组合内两个声音信号幅值的差值，得到N个声音信号幅值的差值；以及将所述N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，生成通知消息，并播放所述通知消息。
本申请的实例还提供了一种头戴装置，包括：用于显示图像的显示装置；以及用于播放声音的声音播放装置；该头戴装置进一步包括：
n个声音采集装置，用于采集声音信号，其中，n为大于或等于2的自然数；
处理模块，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号；以及
通知模块，用于在收到所述控制信号后生成通知消息，并通过所述显示装置和/或声音播放装置播放所述通知消息。
本申请的实例还提供了信息处理装置，包括：
n个声音采集装置，用于采集声音信号，其中，n为大于或等于2的自然数；
处理模块，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号；以及
连接模块，用于在收到所述控制信号后生成通知消息，并向头戴装置输出生成的通知消息。
本申请的实例还提供了另一种信息处理装置，包括：
n个声音采集装置，用于采集声音信号，其中，n为大于或等于2的自然数；
处理模块，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号；以及
执行模块，用于在收到所述控制信号后生成通知消息，并播放所生成的通知消息。
在本申请的实例中，通过对布置于不同方向的声音采集装置所采集到的声音信号进行处理，并计算不同方向声音信号幅值的差值，当某一方向或某几个方向的声音强度大于其他方向时，则判断为该方向有人在对使用者说话，即为外界有信息输入，并触发特定的通知操作对使用者进行提醒。使用本方法可以在不破坏头戴装置的密闭性，不牺牲使用者使用体验的前提下，实现提醒使用者注意外界有效通知的效果。本申请的信息处理装置可以集成在头戴装置中，也可以设计为使用者单独佩戴的装置。该信息处理装置在使用者佩戴头戴装置的过程中可以采集外界的声音信号，通过对所采集信号的处理判断出外界有信息输入时，触发特定的通知操作对使用者进行提醒，增强了头戴设备的实用性。
附图说明
为了更清楚的说明本申请中的技术方案，下面将对实例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中，
图1为本申请实例中的头戴装置实体示意图；
图2为本申请实例中的信息处理方法流程示意图；
图3为本申请实例中的信息处理装置内部结构示意图；
图4为本申请实例中使用DSP作为处理模块的内部结构示意图；
图5为本申请实例中使用门电路作为处理模块的内部结构示意图；
图6为本申请另一实例中的信息处理装置内部示意图；以及
图7为本申请又一实例中的信息处理装置内部示意图；
具体实施方式
下面将结合附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实例是本申请一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。
如前所述，为了带给头戴设备使用者更加逼真、刺激的使用体验，头戴装置往往会使用密闭的设计，以隔绝使用者眼睛和耳朵与外界的联系。然而，这样的使用方式却导致使用者在佩戴头戴设备的过程中不能很好地接收来自外界的信息。
为了解决上述问题，本申请的实例给出了一种信息处理方法。该方法可以应用于与头戴装置配合使用，在使用者佩戴使用头戴设备的过程中为使用者处理外界的信息，并在检测到有外界信息输入时提醒使用者。
如前所述，本申请实例所指头戴装置可以是沉浸式头戴装置，该头戴装置本身可包括用于显示图像或影像的显示装置，例如，带有图像显示功能的眼罩，以及用于播放声音的声音播放装置，例如耳麦等。
此外，在本申请的实例中，为了实现对来自头戴装置外界信息的处理，还需要配置两个以上的声音采集装置，用于采集头戴装置使用者周围不同方向上的声音信号。上述两个以上的声音采集装置可以设置在上述头戴装置的不同部位，或者也可以先设计一个由头戴装置的使用者佩戴的单独的装置，例如，手环或者腰带等。在这种情况下，上述两个以上的声音采集装置设置在该装置的不同部位上。
更进一步，为了更好的区分来自不同方向的声音，上述声音采集装置可以采用单指向性的麦克风来实现。
图1显示了依据本申请实例的头戴装置的一个示例。如图1所示，在图1所示的头戴装置主体100的左部、左前部、右部和右前部分别设置有一个单指向性的麦克风MIC-A、MIC-B、MIC-C、MIC-D，这4个单指向性的麦克风分别用于捕获来自头戴装置主体的左部、左前部、右部和右前部的声音信号。需要说明的是，在图1中，共显示了4个声音采集装置，而在本申请的实例中，在头戴装置主体上设置的声音采集装置的数量并不限于4个，可以是2个、3个、5个、甚至更多个。
本申请实例所述的信息处理方法主要是对来自声音采集装置的声音信号进行处理，检测外界是否有有用信息输入，且在有信息输入时提醒头戴设备的使用者。
图2为依据本申请实例的信息处理方法流程示意图。如图2所示，该方法包括以下步骤：
步骤201，通过n个声音采集装置分别采集n个声音信号，其中，n为大于或等于2的自然数。
如前所述，为了实现本实施例的方法，可以在头戴装置的不同部位设置两个以上的声音采集装置，或者设计一个由使用者佩戴的单独的装置，在该装置的不同部位设置两个以上的声音采集装置。这样，在本步骤中，通过在头戴装置或者单独的装置上设置的两个以上的声音采集装置采集来自不同方向的两个以上的声音信号。
例如，如图1所示的头戴装置的示例，该头戴装置包含MIC-A、MIC-B、MIC-C、MIC-D4个单指向性的麦克风。如此，在本步骤中，可以通过这4个单指向性的麦克风采集来自头戴装置前部、左前部、右部和右前部四个方向上的声音信号Sa、Sb、Sc和Sd。
为了避免所采集到的声音信号中过高的频率成分对装置造成的不良影响，在本步骤中，还可以进一步对上述n个声音信号先分别进行低通滤波处理。经过低通滤波处理之后，所接收的n个声音信号中的背景噪声等干扰成分将被除去。
步骤202，对上述n个声音信号进行两两组合，共得到N个组合。
在本申请的实例中，可以对上述n个声音信号进行两两任意组合，在这种情况下，N和n可以具有如下关系：N＝Cn 2。例如，通过如图1所示的头戴装置可以采集到Sa、Sb、Sc和Sd四个声音信号。如此，在本步骤中，可以得到如下6个组合：[Sa、Sb]、[Sa、Sc]、[Sa、Sd]、[Sb、Sc]、[Sb、Sd]、以及[Sc、Sd]。
在本申请的另一个实例中，还可以依据声音采集装置的位置，仅将位置相邻的两个声音采集装置所采集的声音信号进行组合，其中，每个组合包括两个声音信号。例如，通过如图1所示的头戴装置可以采集到Sa、Sb、Sc和Sd四个声音信号。从图1可以看出，MIC-A和MIC-B相邻，MIC-B和MIC-C相邻，MIC-CD和MIC-D相邻，则在本步骤中，可以得到如下3个组合：[Sa、Sb]、[Sb、Sc]、以及[Sc、Sd]。
步骤203，分别计算每个组合内两个声音信号幅值的差值，得到N个声音信号幅值的差值。
例如，如果在上述步骤中得到上述6个组合[Sa、Sb]、[Sa、Sc]、[Sa、Sd]、[Sb、Sc]、[Sb、Sd]、以及[Sc、Sd]，则分别计算每个组合所包含两个声音信号幅值的差值：d1＝Sa-Sb、d2＝Sa-Sc、d3＝Sa-Sd、d4＝Sb-Sc、d5＝Sb-Sd、以及d6＝Sc-Sd。而如果在上述步骤中得到上述3个组合[Sa、Sb]、[Sb、Sc]、以及[Sc、Sd]，则分别计算每个组合所包含两个声音信号幅值的差值：d1＝Sa-Sb、d2＝Sb-Sc、以及d3＝Sc-Sd。
通过本步骤的计算可以得出不同方向声音采集装置所接收声音信号强度的差值，也即声音信号幅值的差值，这些差值代表了不同方向声音强弱的差异。
在本申请的一个实例中，上述步骤203和204可以通过例如数字信号处理(DSP)芯片等可编程电路/芯片来实现。除此之外，上述步骤204也可以通过门电路，例如，差分电路来实现。
步骤204，将上述N个声音信号幅值的差值分别与设定的阈值进行比较，如果至少有一个声音信号幅值的差值大于或等于所述阈值，则判断外界有信息输入，可继续执行步骤205；如果所有声音信号幅值的差值均小于所述阈值，则判断没有外界信息输入，返回步骤201，继续监控。
在本步骤中，上述阈值可以是预先根据经验值设置的。这一阈值在上述方法执行中可以保持不变。
此外，上述阈值也可以由用户设置并可以在使用过程中人工进行调整。例如，可以预先设置头戴装置的不同使用环境与各种不同使用环境下阈值的对应关系，例如，包括在家中等比较安静的环境可以对应相对比较低的阈值，而在游戏厅、商场等等比较嘈杂的环境则可以对应相对比较高的阈值。这样，用户在使用前可以设置头戴装置的使用环境，从而可以根据上述不同使用环境与阈值的对应关系，确定与用户所设置使用环境对应的阈值，以实现根据外界环境动态调整阈值的目的。
此外，在本申请的实例中，还可以根据上述两个以上声音采集装置采集的声音信号来动态调整上述阈值。例如，当在本步骤中，监测到所有声音信号幅值的差值均小于所述阈值时，则可以求所采集所有声音信号的平均值，并根据该平均值设定新的阈值。由于头戴装置上设置的多个声音采集装置所采集声音信号的平均值基本反映了当前环境下背景声音的大小，因此，根据该平均值更新阈值可以使头戴装置更好地适应当前的环境。
步骤205，生成通知消息，并播放所生成的通知消息，通知头戴装置的使用者外界有信息输入。
上述通知消息可以是声音消息、图形或文字消息或者是其他类型的消息。例如，如果是声音消息，则可以通过头戴装置的声音播放装置播放该声音消息，例如，特定的提示音或者语音等等，通知头戴装置的使用者外界有信息输入；如果是图形或文字消息，则可以通过头戴装置的显示装置显示该图形或者文字消息，通知头戴装置的使用者。此外，还可以通过振动等方式通知使用者。
除上述通知方式之外，还可以直接将大于或等于阈值的声音信号幅值的差值对应的可能包含信息的声音信号进行合并以及滤波等处理后通过头戴装置的声音播放装置播放给使用者。
这样，使用者在接收到上述任何一种类型的通知消息之后即可获知外界有信息输入，从而可以中断头戴设备的使用回归到真实环境中，与外界恢复沟通。
需要说明的是，执行完上述操作后，如果使用者继续使用该头戴装置，则本流程可以返回到步骤201，继续进行监控。
由此可以看出，在本实例中，通过对布置于不同方向的声音采集装置所采集到的声音信号进行处理，并计算不同方向声音信号幅值的差值，当某一方向或某几个方向的声音强度大于其他方向时，则判断为该方向有人在对使用者说话，即为外界有信息输入，并触发特定的通知操作对使用者进行提醒。使用本方法可以在不破坏头戴装置的密闭性，不牺牲使用者使用体验的前提下，实现提醒使用者注意外界有效通知的效果。
除了上述信息处理方法，本申请还给出了实现上述信息处理方法的装置。
图3为本申请一实例的信息处理装置内部结构示意图。在本实例中，该信息处理装置可以内置于头戴装置，与头戴装置集成在一起。如图3所示，该信息处理装置包括：
n个声音采集装置301，其中，n为大于2的自然数，分别用于采集不同方向上的声音信号。
上述n个声音采集装置301可以安置在头戴装置的不同位置上，以采集来自头戴装置不同方向的声音信号。
具体而言，上述声音采集装置可以是单指向性麦克风。单指向性麦克风的接收音场角度非常小，因此，只对特定方向上的声音信号具有接收能力，而不能接收其他方向的信号。当有人与头戴装置的使用者说话时，麦克风的单指向性会使得位于讲话者方向上的麦克风收到比其它麦克风更强的信号。
处理模块302，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当某一个声音信号幅值的差值或某几个声音信号幅值的差值超过或等于设定的阈值时，表示至少有一路声音信号比其它路信号更强，也即可能存在信息输入。在这种情况下，处理模块303将输出一个控制信号到通知模块304。
在本申请的实例中，上述处理模块303可采用不同的计算处理硬件实现，如DSP芯片、门电路等。
通知模块303用于接收处理模块302输出的控制信号，生成通知消息，并控制头戴装置上的显示装置和/或声音播放装置向头戴装置使用者播放通知消息，提醒使用者注意存在外界信息输入。
在本申请的示例中，通知模块303可以控制头戴装置上的显示装置向使用者显示文字或图形消息，也可以控制头戴装置上的声音播放装置向使用者发出声音提醒。
更进一步，除了上述控制信号之外，处理模块302还将对大于或等于上述阈值的声音信号幅值的差值对应的可能包含信息的声音信号进行合并以及滤波等处理，然后向通知模块303输出，并由通知模块303控制头戴装置的声音播放装置播放来自处理模块302的声音信号，从而将外界信息直接传递给头戴装置的使用者。
在本申请的实例中，上述信息处理装置还将包括：n个低通滤波器304，用于对上述n个声音采集装置301所采集的n路声音信号做低通滤波处理，除去其中的背景噪声等干扰成分，经过低通滤波处理的声音信号将被输入到处理模块302。
在本申请的另一实例中，上述信息处理装置还将包括阈值设置模块305，用于设置上述阈值。
上述阈值设置模块305可以接收用户输入的阈值，并按照用户输入的阈值进行阈值设置，或者可以接收用户设置的应用场景，并根据预先设置的应用场景和阈值的对应关系确定用户设置的应用场景所对应的阈值，从而进行阈值设置。此外，上述阈值设置模块305还可以根据上述n个声音采集装置301采集的声音信号动态调整上述阈值。例如，当所有的声音信号幅值的差值均小于设置的门限时说明外界没有信息输入，这些声音信号基本反映了头戴装置周围的背景声音。在这种情况下，可以将根据n个声音采集装置301采集的声音信号的平均值更新上述阈值。
在本申请的一些实例中，所述处理模块302可以使用DSP来实现。图4显示了使用DSP实现的处理模块302的内部结构。如图4所示，在这种情况下，处理模块302包括：
n个模数转换器401，用于将输入的n路模拟声音信号转换为n路数字信号；
分组单元402，用于对输入的n路数字信号进行两两组合，得到N个组合；如前所述，可以对n路数字信号进行两两任意组合，此时，N＝Cn 2；此外，还可以将两个相邻的声音采集装置所采集的声音信号进行组合，得到N个组合。
差值单元403，用于分别将每个组合内的两个信号幅度相减，共得到N个声音信号幅值的差值；
比较单元404，用于将N个声音信号幅值的差值分别与设定的阈值进行比较，若如果有一个或者多个声音信号幅值的差值大于或者等于上述阈值，则判断为存在外界信息输入，则输出控制信号。
在本申请的另一些实例中，上述处理模块302也可以使用门电路来实现。图5显示了使用门电路实现的处理模块302的内部结构。如图5所示，在这种情况下，处理模块302包括：
N个差分放大电路501，分别用以实现将不同声音信号组合内两路声音信号的幅度进行减法运算，其中，幅值接近的噪声信号经过相减后会得到小的输出，而如果两路信号中有一路信号更强经过相减后会得到较大的输出，较大输出表示存在有效的外界反馈输入。
N个比较器502，分别用于将所述N差分电路501的输出与预设幅值Vref做比较。上述预设的幅值对应于上述阈值。
或门电路503，用于对所有N个比较器502的数据进行或运算，也即当所述N个比较器502中有一个比较器502的输出为1时，或门电路503的输出也为1。
该或门电路503的输出将作为控制信号输出到通知模块304。
在上述实例中无论是使用DSP还是门电路，都可以实现对来自各个声音信号采集装置所采集声音信号的处理，并根据处理结果判断是否存在有效的外界信息输入，相应的判断结果也会发送至通知模块以触发相关操作。
本实例中的应用于头戴装置的信息处理装置可以在不破坏头戴装置使用效果的前提下，提醒头戴装置使用者注意外界有信息输入，而且能够在一定程度内排除干扰消息。
在本申请的另一个实例中，所述信息处理装置还可以可以做成独立于头戴装置的单独的信息处理部件，该信息处理部件与头戴装置通过专用或者通用的接口连接。例如，该信息处理部件可以是粘接或者插接在头戴设备上的单独部件或者做成类似于手环或者腰带等形态的产品直接佩戴在使用者的身上。该信息处理装置与头戴装置的连接方式也可以是有线或者是无线的。例如通过USB接口、蓝牙、或WiFi等方式与头戴装置进行连接。图6为本申请一实例的信息处理装置内部结构示意图。如图6所示，该信息处理装置包括：
n个声音采集装置301，其中，n为大于2的自然数，分别用于采集不同方向上的声音信号。
上述n个声音采集装置301可以安置在头戴装置的不同位置上，或者以手环、腰带等其他方式佩戴在头戴装置使用者身体的某些部位上，以采集来自不同方向的声音信号。
如前所述，上述声音采集装置可以是单指向性麦克风。
处理模块302，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当某一个声音信号幅值的差值或某几个声音信号幅值的差值超过或等于设定的阈值时，表示至少有一路声音信号比其它路信号更强，也即可能存在信息输入。在这种情况下，处理模块302将输出一个控制信号到连接模块601。
如前所述，上述处理模块302可采用不同的计算处理硬件实现，例如可以用如图4所示的DSP，或如图5所示的门电路等。
连接模块601，用于接收处理模块302输出的控制信号，生成通知消息，向头戴装置输出通知消息，提醒使用者注意存在外界信息输入。
头戴装置在接收到来自连接模块601的通知消息后可以通过自身的显示装置向使用者显示文字或图形消息，也可以控制头戴装置上的声音播放装置向使用者发出声音提醒。
更进一步，除了上述通知方式之外，处理模块302还可以对大于或等于上述阈值的声音信号幅值的差值对应的可能包含信息的声音信号进行合并以及滤波等处理，然后通过连接模块601向头戴装置输出处理后的声音信号，并由头戴装置控制其自身的声音播放装置播放所述声音信号，从而将外界信息传递给头戴装置的使用者。
在本申请的另一实例中，上述信息处理装置还将包括：用于对上述n个声音采集装置301所采集的n路声音信号做低通滤波处理的n个低通滤波器304；以及用于设置阈值的阈值设置模块305，其功能如前所述，在此不在赘述了。
本实例所述的信息处理装置，可独立于沉浸式头戴装置而存在，自行捕获外界声音信号、判别出有效的外界信息输入后，将通过与头戴装置连接的连接模块通知头戴装置对使用者进行提醒。这种装置的好处在于可以应用于不同的头戴装置上，使用起来更加便捷灵活。
在本申请的又一个实例中，所述信息处理装置还可以做成完全独立于头戴装置的单独的装置，而且无需头戴装置连接。例如，该信息处理装置可以做成类似于手环或者腰带等形态的产品直接佩戴在使用者的身上。图7为本申请一实例的信息处理装置内部结构示意图。如图7所示，该信息处理装置包括：
n个声音采集装置301，其中，n为大于2的自然数，分别用于采集不同方向上的声音信号。
上述n个声音采集装置301可以安置在头戴装置的不同位置上，或者以类似手环、腰带等其他方式佩戴在头戴装置使用者身体的手腕或者其他部位上，以采集来自不同方向的声音信号。
如前所述，上述声音采集装置可以是单指向性麦克风。
处理模块302，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当某一个声音信号幅值的差值或某几个声音信号幅值的差值超过或等于设定的阈值时，表示至少有一路声音信号比其它路信号更强，也即可能存在信息输入。在这种情况下，处理模块302将输出一个控制信号到执行模块701。
如前所述，上述处理模块302可采用不同的计算处理硬件实现，例如可以用如图4所示的DSP，或如图5所示的门电路等。
执行模块701，用于接收处理模块302输出的控制信号，向头戴装置的使用者输出通知消息，提醒使用者注意存在外界信息输入。
例如，执行模块701可以包含振动装置，在接收到处理模块303输出的控制信号后将进行振动，从而通知使用者注意外界有信息输入。
在本申请的另一实例中，上述信息处理装置还将包括：用于对上述n个声音采集装置301所采集的n路声音信号做低通滤波处理的n个低通滤波器304；以及用于设置阈值的阈值设置模块305，其功能如前所述，在此不在赘述了。
本实例所述的信息处理装置，可独立于沉浸式头戴装置而存在，自行捕获外界声音信号，在判别出有效的外界信息输入后，将通过自身的振动装置或其他方式对使用者进行提醒。这种信息处理装置的好处在于可以与不同类型的头戴装置配合使用，甚至可以与本身不支持扩展功能的头戴装置配合使用。甚至于还可以应用到除了头戴装置之外的其他的应用环境下，应用起来更加便捷灵活。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (27)

1.一种信息处理方法，其特征在于，包括：
采集两个以上声音信号；
对所述两个以上声音信号进行两两组合，得到N个声音信号组合；
分别计算每个声音信号组合内两个声音信号幅值的差值，得到N个声音信号幅值的差值；以及
将所述N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，生成通知消息，并播放所述通知消息。
2.根据权利要求1所述的方法，其中，所述对所述两个以上声音信号进行两两组合包括：对所述两个以上声音信号进行两两任意组合，满足
3.根据权利要求1所述的方法，其中，所述对所述两个以上声音信号进行两两组合包括：根据采集所述两个以上声音信号的声音采集装置的位置，将相邻的两个声音采集装置采集的声音信号作为一个组合，其中，每个组合包括两个声音信号。
4.根据权利要求1所述的方法，其中，进一步包括：
预先设置应用环境与阈值的对应关系；
接收用户设置的应用环境；以及
根据用户设置的应用环境确定所述阈值。
5.根据权利要求1所述的方法，其中，进一步包括：
当所述N个声音信号幅值的差值均小于所述阈值时，根据所述两个以上声音信号的平均值确定所述阈值。
6.根据权利要求1所述的方法，其中，
所述生成通知消息包括：生成包括语音或提示音的通知消息；
所述播放所述通知消息包括：通过头戴装置的声音播放装置播放生成的的通知消息。
7.根据权利要求1所述的方法，其中，
所述生成通知消息包括：生成图形或文字消息；
所述播放所述通知消息包括：通过头戴装置的显示装置显示生成的图形或文字消息。
8.根据权利要求1所述的方法，其中，
所述生成通知消息包括：生成振动通知消息；
所述播放所述通知消息包括：通过可振动装置发出的振动信号。
9.根据权利要求1所述的方法，其中，
所述生成通知消息包括：对大于或等于所述阈值的声音信号幅值的差值对应的包含信息的声音信号进行合并，得到合并后的声音信号；
所述播放所述通知消息包括：通过头戴装置的声音播放装置播放所述合并后的声音信号。
10.一种头戴装置，包括：用于显示图像的显示装置；以及用于播放声音的声音播放装置；其特征在于，该头戴装置进一步包括：
n个声音采集装置，用于采集声音信号，其中，n为大于或等于2的自然数；
处理模块，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号；
通知模块，用于在收到所述控制信号后生成通知消息，并通过所述显示装置和/或声音播放装置播放所述通知消息。
11.根据权利要求10所述的头戴装置，其中，所述声音采集装置为单指向性麦克风。
12.根据权利要求11所述的头戴装置，其中，所述多个单指向性麦克风安装在所述头戴装置的不同方向上。
13.根据权利要求10所述的头戴装置，其中，所述处理模块由数字信号处理DSP芯片实现，包括：
n个模数转换器，用于分别将n个模拟声音信号幅值转换为数字信号；
分组单元，用于将所述n个声音信号进行两两组合，生成N个声音信号组合；
差值单元，用于分别计算N个声音信号组合中两个声音信号幅值的差值，得到N个声音信号幅值的差值；以及
比较单元，用于将所述N个声音信号幅值的差值与所述阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号。
14.根据权利要求10所述的头戴装置，其中，所述处理模块包括：
差分放大电路，用于将n个声音信号幅值进行差值运算；
比较器，用于将所述差分电路的输出分别于预设幅值进行比较；以及
或门电路，用于对所述比较器的输出进行或运算。
15.根据权利要求10所述的头戴装置，其中，进一步包括：
阈值设置模块，用于设置所述阈值。
16.一种信息处理装置，其特征在于，包括：
n个声音采集装置，用于采集声音信号，其中，n为大于或等于2的自然数；
处理模块，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号；以及
连接模块，用于在收到所述控制信号后生成通知消息，并向头戴装置输出生成的通知消息。
17.根据权利要求16所述的信息处理装置，其中，所述声音采集装置为单指向性麦克风。
18.根据权利要求17所述的信息处理装置，其中，所述多个单指向性麦克风安装在所述头戴装置的不同方向上。
19.根据权利要求16所述的信息处理装置，其中，所述处理模块由数字信号处理DSP芯片实现，包括：
n个模数转换器，用于分别将n个模拟声音信号幅值转换为数字信号；
分组单元，用于将所述n个声音信号进行两两任意组合，生成N个声音信号组合；
差值单元，用于分别计算N个声音信号组合中两个声音信号幅值的差值，得到N个声音信号幅值的差值；以及
比较单元，用于将所述N个声音信号幅值的差值与所述阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号。
20.根据权利要求16所述的信息处理装置，其中，所述处理模块包括：
差分放大电路，用于将n个声音信号幅值进行差值运算；
比较器，用于将所述差分电路的输出分别于预设幅值进行比较；以及
或门电路，用于对所述比较器的输出进行或运算。
21.根据权利要求16所述的信息处理装置，其中，进一步包括：
阈值设置模块，用于设置所述阈值。
22.一种信息处理装置，其特征在于，包括：
n个声音采集装置，用于采集声音信号，其中，n为大于或等于2的自然数；
处理模块，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号；以及
执行模块，用于在收到所述控制信号后生成通知消息，并播放所生成的通知消息。
23.根据权利要求22所述的信息处理装置，其中，所述声音采集装置为单指向性麦克风。
24.根据权利要求22所述的信息处理装置，其中，所述处理模块由数字信号处理DSP芯片实现，包括：
n个模数转换器，用于分别将n个模拟声音信号幅值转换为数字信号；
分组单元，用于将所述n个声音信号进行两两组合，生成N个声音信号组合；
差值单元，用于分别计算N个声音信号组合中两个声音信号幅值的差值，得到N个声音信号幅值的差值；以及
比较单元，用于将所述N个声音信号幅值的差值与所述阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号。
25.根据权利要求22所述的信息处理装置，其中，所述处理模块包括：
差分放大电路，用于将n个声音信号幅值进行差值运算；
比较器，用于将所述差分电路的输出分别于预设幅值进行比较；以及
或门电路，用于对所述比较器的输出进行或运算。
26.根据权利要求22所述的信息处理装置，其中，进一步包括可振动装置；
所述执行模块生成振动通知消息，并通过所述可振动装置发出的振动信号。
27.根据权利要求22所述的信息处理装置，其中，进一步包括：阈值设置模块，用于设置所述阈值。
CN201610892091.3A 2016-10-12 2016-10-12 信息处理方法及装置 Active CN106331954B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610892091.3A CN106331954B (zh) 2016-10-12 2016-10-12 信息处理方法及装置
PCT/CN2017/100711 WO2018068597A1 (zh) 2016-10-12 2017-09-06 信息处理方法及装置
US16/294,422 US10638223B2 (en) 2016-10-12 2019-03-06 Information processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610892091.3A CN106331954B (zh) 2016-10-12 2016-10-12 信息处理方法及装置

Publications (2)

Publication Number Publication Date
CN106331954A true CN106331954A (zh) 2017-01-11
CN106331954B CN106331954B (zh) 2018-10-26

Family

ID=57820438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610892091.3A Active CN106331954B (zh) 2016-10-12 2016-10-12 信息处理方法及装置

Country Status (3)

Country Link
US (1) US10638223B2 (zh)
CN (1) CN106331954B (zh)
WO (1) WO2018068597A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018068597A1 (zh) * 2016-10-12 2018-04-19 腾讯科技（深圳）有限公司 信息处理方法及装置
CN109669663A (zh) * 2018-12-28 2019-04-23 百度在线网络技术（北京）有限公司 音区幅值获取方法、装置、电子设备及存储介质
CN111857041A (zh) * 2020-07-30 2020-10-30 东莞市易联交互信息科技有限责任公司 一种智能设备的运动控制方法、装置、设备和存储介质
CN113744761A (zh) * 2020-05-28 2021-12-03 智能耳聪科技股份有限公司 通知装置、穿戴装置与通知方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11310597B2 (en) * 2019-02-04 2022-04-19 Eric Jay Alexander Directional sound recording and playback

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098492A (zh) * 2009-12-11 2011-06-15 上海弘视通信技术有限公司 音视频联合分析的打架斗殴检测系统及其检测方法
CN103853646A (zh) * 2012-12-04 2014-06-11 鸿富锦精密工业(武汉)有限公司 被叫提示系统及方法
CN105912988A (zh) * 2016-03-31 2016-08-31 宇龙计算机通信科技(深圳)有限公司 一种环境变化提醒方法、系统与头戴式vr设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101614803A (zh) * 2008-06-26 2009-12-30 鸿富锦精密工业（深圳）有限公司 声音辨位装置及方法
KR20160070529A (ko) * 2014-12-10 2016-06-20 엘지전자 주식회사 웨어러블 디바이스
KR20170114468A (ko) * 2016-04-05 2017-10-16 삼성전자주식회사 전자 장치 및 이의 음향 부품을 이용한 제어 방법
CN106331954B (zh) * 2016-10-12 2018-10-26 腾讯科技（深圳）有限公司 信息处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098492A (zh) * 2009-12-11 2011-06-15 上海弘视通信技术有限公司 音视频联合分析的打架斗殴检测系统及其检测方法
CN103853646A (zh) * 2012-12-04 2014-06-11 鸿富锦精密工业(武汉)有限公司 被叫提示系统及方法
CN105912988A (zh) * 2016-03-31 2016-08-31 宇龙计算机通信科技(深圳)有限公司 一种环境变化提醒方法、系统与头戴式vr设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018068597A1 (zh) * 2016-10-12 2018-04-19 腾讯科技（深圳）有限公司 信息处理方法及装置
US10638223B2 (en) 2016-10-12 2020-04-28 Tencent Technology (Shenzhen) Company Limited Information processing method and device
CN109669663A (zh) * 2018-12-28 2019-04-23 百度在线网络技术（北京）有限公司 音区幅值获取方法、装置、电子设备及存储介质
CN109669663B (zh) * 2018-12-28 2021-10-12 百度在线网络技术（北京）有限公司 音区幅值获取方法、装置、电子设备及存储介质
CN113986187A (zh) * 2018-12-28 2022-01-28 阿波罗智联(北京)科技有限公司 音区幅值获取方法、装置、电子设备及存储介质
CN113986187B (zh) * 2018-12-28 2024-05-17 阿波罗智联(北京)科技有限公司 音区幅值获取方法、装置、电子设备及存储介质
CN113744761A (zh) * 2020-05-28 2021-12-03 智能耳聪科技股份有限公司 通知装置、穿戴装置与通知方法
CN111857041A (zh) * 2020-07-30 2020-10-30 东莞市易联交互信息科技有限责任公司 一种智能设备的运动控制方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2018068597A1 (zh) 2018-04-19
CN106331954B (zh) 2018-10-26
US10638223B2 (en) 2020-04-28
US20190208319A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
CN106331954B (zh) 信息处理方法及装置
US10524040B2 (en) Headphones with orientation sensors
US9949008B2 (en) Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method
US8788077B2 (en) Designer control devices
US20150319546A1 (en) Hearing Assistance System
US20130279724A1 (en) Auto detection of headphone orientation
JP2017521902A (ja) 取得した音響信号のための回路デバイスシステム及び関連するコンピュータで実行可能なコード
US11184723B2 (en) Methods and apparatus for auditory attention tracking through source modification
US11392173B2 (en) Alternating sampling method for non-echo duplex conversations on a wearable device with multiple speakers and microphones
CN109495806B (zh) 一种耳机降噪系统及方法、耳机、计算机设备及介质
CN110149573B (zh) 一种电子设备
US20240185824A1 (en) Selective Audio Isolation from Body Generated Sound System and Method
CN108683790B (zh) 语音处理方法及相关产品
CN114255776A (zh) 使用互连电子设备进行音频修改
CN107609371B (zh) 一种消息提示方法及音频播放设备
CN108055605A (zh) 颈线蓝牙耳机及其应用方法
CN107360500A (zh) 一种声音输出方法和装置
US20150117688A1 (en) Hybrid hearing device
KR20200097590A (ko) 전자 장치 및 전자 장치의 마이크로폰 블록 검출 방법
US20240284085A1 (en) Context-based user availability for notifications
US11163522B2 (en) Fine grain haptic wearable device
US20240267663A1 (en) Smart wireless camera earphones
CN105338452B (zh) 在电子终端中实现降噪的方法及其电子终端
CN116208880A (zh) 一种声音信号的方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant