CN116208880A - 一种声音信号的方法以及相关设备 - Google Patents

一种声音信号的方法以及相关设备 Download PDF

Info

Publication number
CN116208880A
CN116208880A CN202111447775.XA CN202111447775A CN116208880A CN 116208880 A CN116208880 A CN 116208880A CN 202111447775 A CN202111447775 A CN 202111447775A CN 116208880 A CN116208880 A CN 116208880A
Authority
CN
China
Prior art keywords
sound signal
noise reduction
microphone
signal
peak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111447775.XA
Other languages
English (en)
Inventor
孙智达
许强
托希德·尤瑟菲·雷扎伊
翟毅斌
张晓平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ryerson University
Huawei Technologies Co Ltd
Original Assignee
Ryerson University
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ryerson University, Huawei Technologies Co Ltd filed Critical Ryerson University
Priority to CN202111447775.XA priority Critical patent/CN116208880A/zh
Publication of CN116208880A publication Critical patent/CN116208880A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008Earpieces of the supra-aural or circum-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091Details not provided for in groups H04R1/1008 - H04R1/1083

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

本申请实施例公开一种声音信号的方法以及相关设备,可用于智能穿戴设备领域。第一麦克风和第二麦克风位于第一耳筒的第一侧和第二侧,第三麦克风和第四麦克风位于第二耳筒的第一侧和第二侧,第二侧和第一侧不同,第一侧存在耳筒的音频输出口;方法包括:获取通过第一麦克风得到的第一声音信号、通过第二麦克风得到的第二声音信号、通过第三麦克风得到的第三声音信号和通过第四麦克风得到的第四声音信号;根据第二声音信号对第一声音信号进行降噪处理得到第一降噪信号;根据第四声音信号对第三声音信号进行降噪处理得到第二降噪信号;确定每个耳筒佩戴于左耳或右耳。基于用户的实际佩戴情况确定耳筒的佩戴位置,用户操作更简单。

Description

一种声音信号的方法以及相关设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种声音信号的方法以及相关设备。
背景技术
随着科技的发展,耳机成为越来越流行的一种产品。蓝牙耳机、无线耳机等类型的耳机的发明,使得用户在使用耳机有了更大的活动空间,用户可以更加方便的收听音频、观看视频、体验虚拟现实(virtual reality,VR)游戏等。
目前主流的方式为,一个耳机的两个耳筒上预先标记有左(left,L)和右(right,R),用户需要根据两个耳筒上的标记,将两个耳筒分别佩戴于左耳和右耳上,但两个耳筒可能会被用户戴反,当通过耳机播放立体声时,戴反耳机会导致用户听到的声音不自然。
发明内容
本申请实施例提供了一种声音信号的方法以及相关设备,基于用户的实际佩戴位置来确定耳筒是佩戴在左耳还是右耳,也即用户可以随机的佩戴耳机,使用户操作更为简单,有利于提高本方案的用户粘度;此外,第一降噪信号和第二降噪信号包括的均为清晰的心音信号,有利于提高生成的检测结果的准确率。
为解决上述技术问题,本申请实施例提供以下技术方案:
第一方面,本申请实施例提供一种声音信号的处理方法,可用于智能穿戴设备领域。耳机包括第一耳筒和第二耳筒,第一耳筒配置有第一麦克风和第二麦克风,第一麦克风位于第一耳筒的第一侧,第二麦克风位于第一耳筒的第二侧,第二耳筒配置有第三麦克风和第四麦克风,第三麦克风位于第二耳筒的第一侧,第四麦克风位于第二耳筒的第二侧。需要说明的是,第一耳筒的第一侧和第一耳筒的第二侧分别代表第一耳筒的两个位置区域,而不是特指第一耳筒的两个位置点,对应的,第二耳筒的第一侧和第二耳筒的第二侧分别代表第二耳筒的两个位置区域,而不是特指第二耳筒的两个位置点;也即第一麦克风在第一耳筒中的具体的位置点和第三麦克风在第二耳筒中具体的位置点可以一致或者不一致,只要第一麦克风在第一耳筒中的位置区域和第三麦克风在第二耳筒中的位置区域相同即可,对应的,第二麦克风在第一耳筒中的具体的位置点和第四麦克风在第二耳筒中具体的位置点可以一致或者不一致,只要第二麦克风在第一耳筒中的位置区域和第四麦克风在第二耳筒中的位置区域相同即可。
进一步地,第一侧存在耳筒的音频输出口,第二侧与第一侧不同,也即第一麦克风和第一耳筒的音频输出口位于第一耳筒的同一侧,第二麦克风和第一耳筒的音频输出口分别位于第一耳筒的不同的两侧,对应的,第二麦克风和第二耳筒的音频输出口位于第二耳筒的同一侧,第二麦克风和第二耳筒的音频输出口位于第二耳筒的不同的两侧。
该声音信号的处理方法包括:在检测到耳机被佩戴的情况下,执行设备获取第一声音信号、第二声音信号、第三声音信号和第四声音信号,其中,第一声音信号为通过第一麦克风得到,第二声音信号为通过第二麦克风得到,第三声音信号为通过第三麦克风得到,第四声音信号为通过第四麦克风得到;执行设备根据第二声音信号对第一声音信号进行降噪处理,得到第一降噪信号;根据第四声音信号对第三声音信号进行降噪处理,得到第二降噪信号;执行设备根据第一降噪信号和第二降噪信号,确定检测结果,其中,检测结果用于指示第一耳筒佩戴于左耳或者右耳,和/或,检测结果用于指示第二耳筒佩戴于左耳或右耳。
本实现方式中,由于第一麦克风和第三麦克风均位于耳筒的第一侧,第二麦克风和第四麦克风均位于耳筒的第二侧,第二侧与第一侧不同,用户心脏跳动所产生的声音可以分别传递至第一耳筒和第二耳筒,则第一声音信号和第三声音信号除了包括外界环境所产生的声音信号之外,还包括心脏跳动所产生的心音信号,第二声音信号和第四声音信号中包括外界环境所产生的声音信号;则第一降噪信号和第二降噪信号中均可以包括清晰的心脏跳动所产生的心音信号,进而可以根据第一降噪信号和第二降噪信号确定检测结果,该检测结果指示第一耳筒和/或第二耳筒的实际佩戴位置。通过前述方案可知,本申请中不会预先设定每个耳筒的类别,而是在用户佩戴耳筒后,基于用户的实际佩戴位置来确定耳筒是佩戴在左耳还是右耳,也即用户可以随机的佩戴耳机,使用户操作更为简单,有利于提高本方案的用户粘度;此外,第一降噪信号和第二降噪信号包括的均为清晰的心音信号,有利于提高生成的检测结果的准确率。
在第一方面的一种可能实现方式中,执行设备根据第一降噪信号和第二降噪信号,确定检测结果,包括:执行设备获取与第一降噪信号中至少一个波峰对应的第一出现时间,并获取与第二降噪信号中至少一个波峰对应的第二出现时间;根据第一出现时间和第二出现时间,确定检测结果。
本实现方式中,第一降噪信号中至少一个波峰的出现时间至少可以包括用户心房收缩时所产生的声音信号传递至第一耳筒时的时间,第二降噪信号中至少一个波峰的出现时间至少可以包括用户心房收缩时所产生的声音信号传递至第一耳筒时的时间,因此,基于第一降噪信号和第二降噪信号中至少一个波峰的出现时间,能够确定该检测结果;提供了检测结果的一种简单的确定方式,易于操作。
在第一方面的一种可能实现方式中,执行设备根据第一出现时间和第二出现时间,确定检测结果,可以包括:若执行设备根据第一出现时间和第二出现时间确定,第一降噪信号中第一个波峰的出现时间早于第二降噪信号中第一个波峰出现的时间,则确定第一耳筒佩戴于左耳,第二耳筒佩戴于右耳;若执行设备根据第一出现时间和第二出现时间确定,第一降噪信号中第一个波峰的出现时间晚于第二降噪信号中第一个波峰出现的时间,则确定第一耳筒佩戴于右耳,第二耳筒佩戴于左耳;或者,
若执行设备根据第一出现时间和第二出现时间,确定第一降噪信号中第一波峰的出现时间早于第二降噪信号中第一波峰的出现时间,则确定第一耳筒佩戴于左耳,第二耳筒佩戴于右耳,第一波峰的高度大于或等于第一高度阈值;若执行设备根据第一出现时间和第二出现时间,确定第一降噪信号中第一波峰的出现时间晚于第二降噪信号中第一波峰的出现时间,则确定第一耳筒佩戴于右耳,第二耳筒佩戴于左耳;或者,
若执行设备根据第一出现时间和第二出现时间,确定第一降噪信号中第二波峰的出现时间早于第一降噪信号中第二波峰的出现时间,则确定第一耳筒佩戴于左耳,第二耳筒佩戴于右耳,第二波峰的高度均大于或等于第二高度阈值且小于第一高度阈值;若执行设备根据第一出现时间和第二出现时间,确定第一降噪信号中第二波峰的出现时间晚于第一降噪信号中第二波峰的出现时间,则确定第一耳筒佩戴于右耳,第二耳筒佩戴于左耳。
本实现方式中,提供了根据降噪信号中至少一个波峰所对应的出现时间,确定该检测结果的多种实现方式,提高了本方案的实现灵活性。
在第一方面的一种可能实现方式中,执行设备根据第一出现时间和第二出现时间,确定检测结果,包括:在第一顺序和第二顺序一致的情况下,执行设备根据第一出现时间和第二出现时间,确定检测结果。其中,第一顺序代表第一降噪信号中第一波峰和第一降噪信号中第二波峰的出现顺序,第二顺序代表第二降噪信号中第一波峰和第二降噪信号中第二波峰的出现顺序;第一波峰的高度大于或等于第一高度阈值,第一波峰的出现时间与心房收缩时产生的声音到达耳筒的时间对应;第二波峰的高度大于或等于第二高度阈值且小于第一高度阈值,第一波峰的出现时间与心室收缩(也即心房舒张)时产生的声音到达耳筒的时间对应。
本实现方式中,由于第一降噪信号中至少一个波峰可以包括心房收缩时产生的声音所对应的波峰,还可以包括心房舒张时产生的声音所对应的波峰,心房收缩时产生的声音所对应的波峰高于心房舒张时产生的声音所对应的波峰,也即降噪信号中第一波峰的出现时间与心房收缩时产生的声音到达耳筒中的时间对应,降噪信号中第二波峰的出现时间与心室收缩(也即心房舒张)时产生的声音到达耳筒中的时间对应。
由于可能会存在一个降噪信号中第一个波峰所对应的当前心跳周期中心房收缩产生的声音,另一个降噪信号中第一个波峰所对应的为上一心跳周期中心房舒张产生的声音,也即第一降噪信号和第二降噪信号中第一个波峰所对应的可能会是不同的心跳周期,本方案中,需要对比同一心跳周期内心跳声到第一耳筒和第二耳筒的时间,才能确定第一耳筒和/或第二耳筒的佩戴位置。若第一顺序和第二顺序一致,则能够证明第一降噪信号和第二降噪信号所对应的是相同的心跳周期,进而有利于提高生成的检测结果的准确率。
在第一方面的一种可能实现方式中,第一声音信号、第二声音信号、第三声音信号和第四声音信号为在目标时间段内采集到的,目标时间段的取值范围为大于或等于1个心跳周期的长度,且小于或等于2个心跳周期的长度。作为示例,例如目标时间段的取值范围可以为1秒至2.5秒,例如目标时间段的取值为1.2秒、1.5秒、2秒、2.4秒或其他取值等,此处不做穷举。
本实现方式中,由于目标时间段的取值越大,则后续信号处理过程中所花费的时间越长,而目标时间段的取值越小,则有可能采集不到一个完整的心跳周期内的声音信号,将目标时间段的取值范围确定为1秒至2.5秒,既能够保证采集到完整的声音信号,又避免对计算机资源的浪费。
在第一方面的一种可能实现方式中,执行设备在利用第二声音信号对第一声音信号进行降噪处理之前,可以对第一声音信号和第二声音信号进行处理,处理后的第一声音信号和第二声音信号的信号强度一致。执行设备在利用第四声音信号对第三声音信号进行降噪处理之前,可以对第三声音信号和第四声音信号进行处理,处理后的第三声音信号和第四声音信号的信号强度一致。
本实现方式中,由于位于耳筒外侧的麦克风采集到的声音信号的信号强度可能会大于耳筒内侧的麦克风采集到的声音信号的信号强度,对前述两个声音信号进行处理,使得处理后的声音信号的信号强度一致,以避免信号强度的不同给降噪过程造成影响,有利于提高降噪过程的性能,进而有利于得到更为准确的检测结果。
在第一方面的一种可能实现方式中,方法还可以包括:执行设备根据第一声音信号和第二声音信号,确定与第一耳筒对应的第一佩戴信息,第一佩戴信息指示第一耳筒的佩戴松紧状态;和/或,根据第三声音信号和第四声音信号,确定与第二耳筒对应的第二佩戴信息,第二佩戴信息指示第二耳筒的佩戴松紧状态,其中,第一耳筒的佩戴松紧状态可以包括第一耳筒处于戴紧状态和第一耳筒处于戴松状态。
本实现方式中,由于噪声可以通过耳筒与耳朵之间的缝隙进入到耳道内,则第一声音信号和第二声音信号中均包括周围环境中的噪声信号,若第一耳筒处于戴紧状态,则进入耳道内的噪声信号会较少,第一声音信号和第二声音信号之间的差异会更大;若第一耳筒处于未戴紧状态,则进入耳道内的噪声信号会较多,第一声音信号和第二声音信号之间的差异会更少,基于前述原理,可以确定耳筒的佩戴松紧状态;本方案中不仅可以自动检测每个耳筒是佩戴在左耳还是右耳,而且可以检测耳筒的佩戴松紧状态,也即可以自动得到更多的佩戴信息,有利于向用户提供更多个性化的服务,有利于提高本方案的用户粘度。
第二方面,本申请实施例提供了一种声音信号的处理方法,可用于智能穿戴设备领域。耳机包括耳筒,耳筒配置有第一麦克风和第二麦克风,第一麦克风和耳筒的音频输出口位于耳筒的同一侧,第二麦克风与第一麦克风位于耳筒的不同的两侧,方法包括:在耳机被佩戴的情况下,执行设备获取第一声音信号和第二声音信号,其中,第一声音信号通过第一麦克风得到,第二声音信号通过第二麦克风得到;执行设备根据第二声音信号对第一声音信号进行降噪处理,得到目标降噪信号;根据目标降噪信号,确定用户的心跳频率。
本实现方式中,由于第一麦克风和耳筒的音频输出口位于耳筒的同一侧,第二麦克风和第一麦克风位于耳筒的不同的两侧,用户心脏跳动所产生的声音可以传递至目标耳筒,则第一声音信号除了包括外界环境所产生的声音信号之外,还包括心脏跳动所产生的心音信号,第二声音信号中包括外界环境所产生的声音信号;则目标降噪信号中可以包括清晰的心脏跳动所产生的心音信号,进而可以根据目标降噪信号确定用户的心跳频率;由于目标降噪信号中包括的为清晰的心音信号,有利于提高生成的心跳频率的准确率。
在第二方面的一种可能实现方式中,执行设备根据目标降噪信号,确定用户的心跳频率,可以包括:执行设备获取目标降噪信号中的第一波峰的个数,并根据第一时间段的长度,确定用户的心跳频率;其中,第一波峰指的是目标降噪信号中高度大于或等于第一高度阈值的波峰,第一波峰的出现时间与心房收缩时所产生的声音信号传递至目标耳筒的时间对应,也即第一时间段内第一波峰的个数能够代表第一时间段内用户的心房收缩的次数,也即第一时间段内第一波峰的个数能够代表第一时间段内的心跳次数。或者,
执行设备根据目标降噪信号,确定用户的心跳频率,可以包括:执行设备获取目标降噪信号中的第二波峰的个数,并根据第一时间段的长度,确定用户的心跳频率;其中,第二波峰指的是目标降噪信号中高度大于或等于第二高度阈值且小于第一高度阈值的波峰,第二波峰的出现时间与心室收缩(也即心房舒张)时所产生的声音信号传递至目标耳筒的时间对应,也即第一时间段内第二波峰的个数能够代表第一时间段内用户的心室收缩的次数,也即第一时间段内第二波峰的个数能够代表第一时间段内的心跳次数。或者,
执行设备根据目标降噪信号,确定用户的心跳频率,可以包括:执行设备获取目标降噪信号中波峰的总个数,并根据第一时间段的长度,确定用户的心跳频率;其中,目标降噪信号中的多个波峰可以包括与用户的心房收缩对应的波峰和与用户的心室收缩(也即心房扩张)对应的波峰,也即第一时间段内所有波峰的总个数可以视为第一时间段内的心跳次数的2倍。
在第二方面的一种可能实现方式中,目标降噪信号中至少一个波峰包括第一波峰和第二波峰,第一波峰的高度大于或等于第一高度阈值,第二波峰的高度大于或等于第二高度阈值且小于第一高度阈值。方法还包括:执行设备获取目标降噪信号在第一波峰处的第一高度和第二参照高度;获取目标降噪信号在第二波峰处的第二高度;根据第一高度、第一参照高度、第二高度,确定心脏状态信息,心脏状态信息包括用户心房的跳动强度信息和心室的跳动强度信息。其中,第一高度用于反映用户心房收缩时的当前强度,第一参照高度代表用户在静息状态下的心房收缩时的强度,第二高度用于反映用户心室收缩(也即心房舒张)时的当前强度,第二参照高度代表用户在静息状态下的心房收缩时的强度。
本申请实施例中,还能够根据目标降噪信号得到用户的心房的跳动强度信息和心室的跳动强度信息,也即能够更加全面的监控用户的心脏健康状态。
在第二方面的一种可能实现方式中,用户的心跳频率用于指示用户的心脏状态信息和/或用户的入眠状态。
本申请实施例中,根据用户的心跳频率可以得到用户的心脏状态信息和/或用户的入眠状态,从而可以基于前述信息对用户提供更为个人化的服务,有利于进一步提高本方案的用户粘度。
第三方面,本申请实施例提供了一种声音信号的处理装置,可用于智能穿戴设备领域。耳机包括第一耳筒和第二耳筒,第一耳筒配置有第一麦克风和第二麦克风,第一麦克风位于第一耳筒的第一侧,第二麦克风位于第一耳筒的第二侧,第二耳筒配置有第三麦克风和第四麦克风,第三麦克风位于第二耳筒的第一侧,第四麦克风位于第二耳筒的第二侧,第二侧与第一侧不同,第一侧存在耳筒的音频输出口;声音信号的处理装置包括:获取模块,用于在检测到耳机被佩戴的情况下,获取第一声音信号、第二声音信号、第三声音信号和第四声音信号,其中,第一声音信号为通过第一麦克风得到,第二声音信号为通过第二麦克风得到,第三声音信号为通过第三麦克风得到,第四声音信号为通过第四麦克风得到;降噪模块,用于根据第二声音信号对第一声音信号进行降噪处理,得到第一降噪信号;降噪模块,还用于根据第四声音信号对第三声音信号进行降噪处理,得到第二降噪信号;确定模块,用于根据第一降噪信号和第二降噪信号,确定检测结果,其中,检测结果用于指示第一耳筒佩戴于左耳或者右耳,和/或,检测结果用于指示第二耳筒佩戴于左耳或右耳。
本申请实施例的第三方面提供的声音信号的处理装置还可以执行第一方面的各个可能实现方式中执行设备执行的步骤,对于本申请实施例第三方面以及第三方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第四方面,本申请实施例提供了一种声音信号的处理装置,可用于智能穿戴设备领域。耳机包括耳筒,耳筒配置有第一麦克风和第二麦克风,第一麦克风和耳筒的音频输出口位于耳筒的同一侧,第二麦克风与第一麦克风位于耳筒的不同的两侧,声音信号的处理装置包括:获取模块,用于在耳机被佩戴的情况下,获取第一声音信号和第二声音信号,其中,第一声音信号通过第一麦克风得到,第二声音信号通过第二麦克风得到;降噪模块,用于根据第二声音信号对第一声音信号进行降噪处理,得到目标降噪信号;确定模块,用于根据目标降噪信号,确定用户的心跳频率。
本申请实施例的第四方面提供的声音信号的处理装置还可以执行第二方面的各个可能实现方式中执行设备执行的步骤,对于本申请实施例第四方面以及第四方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第二方面中各种可能的实现方式中的描述,此处不再一一赘述。
第五方面,本申请实施例提供了一种执行设备,可以包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现上述第一方面或第二方面所述的声音信号的处理方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,当所述程序代码在计算机上运行时,使得计算机执行上述第一方面或第二方面所述的声音信号的处理方法。
第七方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括程序代码,当该程序代码在计算机上运行时,使得计算机执行上述第一方面或第二方面所述的声音信号的处理方法。
第十方面,本申请实施例提供了一种芯片系统,该芯片系统包括处理器,用于实现上述各个方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存服务器或通信设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
附图说明
图1a为本申请实施例提供的声音信号的处理方法中一个应用场景示意图;
图1b为本申请实施例提供的声音信号的处理方法中一个应用场景示意图;
图1c为本申请实施例提供的声音信号的处理方法的一种流程示意图;
图2a为本申请实施例提供的声音信号的处理方法的一种原理示意图;
图2b为本申请实施例提供的声音信号的处理方法的一种流程示意图;
图3为本申请实施例提供的声音信号的处理方法中麦克风的位置的一种示意图;
图4为本申请实施例提供的声音信号的处理方法中第二声音信号的反相信号的一种示意图;
图5为本申请实施例提供的声音信号的处理方法中第一降噪信号的一种示意图;
图6为本申请实施例提供的声音信号的处理方法中第一波峰和第二波峰的一种示意图;
图7为本申请实施例提供的声音信号的处理方法中降噪信号的一种示意图;
图8为本申请实施例提供的声音信号的处理方法中确定第一耳筒的佩戴松紧状态的一种原理示意图;
图9为本申请实施例提供的声音信号的处理方法中确定第一耳筒的佩戴松紧状态的一种流程示意图;
图10为本申请实施例提供的声音信号的处理方法的一种流程示意图;
图11为本申请实施例提供的声音信号的处理装置的一种结构示意图;
图12为本申请实施例提供的声音信号的处理装置的一种结构示意图;
图13为本申请实施例提供的执行设备的一种结构示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请可以应用于耳机的各种应用场景中,一个耳机包括两个耳筒,可选地,该两个耳筒可以形状对称;前述耳机包括但不限于入耳式耳机、半入耳式耳机、包耳式耳机、压耳式耳机或其他类型的耳机等等,以下对本申请实施例的应用场景进行举例。
应用场景一:看电影
本申请的一些实施中,作为示例,例如当用户佩戴耳机看电影时,耳机中播放的可以为立体声声效,例如电影播放的画面中一辆火车从左到右的驶过去,通过耳机的两个耳筒配合播放声效以营造出火车从左到右驶过的声音。若耳机的两个耳筒被用户戴反,会出现画面与听觉不匹配的情况,导致听觉与视觉上产生错乱。
应用场景二:玩游戏
本申请的一些实施中,作为示例,请参阅图1a,图1a为本申请实施例提供的声音信号的处理方法中一个应用场景示意图。当用户佩戴耳机玩游戏时,耳机中播放的可以为立体声音效,例如图示中的枪击类的游戏,当游戏中的非玩家角色(non-player character,NPC)出现在用户周围时,可以通过耳机的两个耳筒模拟出NPC相对于用户的方位,以增强用户的沉浸感。若耳机的两个耳筒被用户戴反,会导致听觉与视觉上产生错乱。
应用场景三:听力辅助
本申请的一些实施中,作为示例,请参阅图1b,图1b为本申请实施例提供的声音信号的处理方法中一个应用场景示意图。如图1b的上图所示,当用户佩戴耳机行走于路上时,当背景音中位于用户左侧的车辆发出鸣笛声时,耳机可以在用户的对应方向发出警示音,以提醒用户发出鸣笛的车辆的方向;如图1b的下图所示,当用户佩戴耳机行走于路上时,当背景音中位于用户右侧的车辆发出鸣笛声时,耳机可以在用户的对应方向发出警示音,以提醒用户发出鸣笛的车辆的方向;则在该场景中,需要明确每个耳筒是佩戴于用户的哪个耳朵上。在另一些应用场景中,当用户佩戴耳机与其他人说话时,佩戴的耳机还可以通过发出提示音的方式来提醒用户说话者的朝向等,此处不做穷举。
应用场景四:导航
本申请的一些实施中,作为示例,在导航类应用程序通过耳机向用户播放导航路线的过程中,若待播放音频为“向右转”,也即待播放音频中携带有方向信息,则可以仅在被确定为右声道的耳筒里播放“向右转”以通过音频的形式对用户进行更为直观地导航,若耳机的两个耳筒被用户戴反,会导致听觉与播放音频内容不符,导致用户更加混乱。
应用场景五:用户鉴权
本申请的一些实施中,作为示例,在采集到用户的左耳和右耳的耳道特征和/或耳廓特征后,可以利用用户的耳道和/或耳廓特征来进行用户识别,则在该场景中,需要明确每个耳筒是佩戴于用户的哪个耳朵上的,进而能够确定该耳筒采集到的是左耳的耳道特征和/或耳廓特征,还是右耳的耳道特征和/或耳廓特征等。
需要说明的是,上述借助各个附图对本申请实施例的应用场景的穷举仅为方便理解本方案,此处不对本申请实施例的应用场景一一进行穷举。
为了能够在上述种种应用场景中,能够基于用户的实际佩戴位置,检测每个耳筒为佩戴于用户的左耳还是右耳,本申请实施例提供了一种声音信号的处理方法,该声音信号的处理方法为基于多个麦克风采集到的声音信号来自动检测每个耳筒的具体佩戴情况。其中,耳机包括第一耳筒和第二耳筒,第一耳筒配置有第一麦克风和第二麦克风,第一麦克风位于第一耳筒的第一侧,第二麦克风位于第一耳筒的第二侧,第二耳筒配置有第三麦克风和第四麦克风,第三麦克风位于第二耳筒的第一侧,第四麦克风位于第二耳筒的第二侧,第一侧存在耳筒的音频输出口,第二侧与第一侧不同。需要说明的是,第一耳筒的第一侧和第一耳筒的第二侧分别代表第一耳筒的两个位置区域,而不是特指第一耳筒的两个位置点,对应的,第二耳筒的第一侧和第二耳筒的第二侧分别代表第二耳筒的两个位置区域,而不是特指第二耳筒的两个位置点;也即第一麦克风在第一耳筒中的具体的位置点和第三麦克风在第二耳筒中具体的位置点可以一致或者不一致,只要第一麦克风在第一耳筒中的位置区域和第三麦克风在第二耳筒中的位置区域相同即可,对应的,第二麦克风在第一耳筒中的具体的位置点和第四麦克风在第二耳筒中具体的位置点可以一致或者不一致,只要第二麦克风在第一耳筒中的位置区域和第四麦克风在第二耳筒中的位置区域相同即可。
具体的,请参阅图1c,图1c为本申请实施例提供的声音信号的处理方法的一种流程示意图。A1、在耳机被佩戴的情况下,获取第一声音信号、第二声音信号、第三声音信号和第四声音信号,其中,第一声音信号为通过第一麦克风得到,第二声音信号为通过第二麦克风得到,第三声音信号为通过第三麦克风得到,第四声音信号为通过第四麦克风得到;A2、根据第二声音信号对第一声音信号进行降噪处理,得到第一降噪信号;A3、根据第四声音信号对第三声音信号进行降噪处理,得到第二降噪信号;A4、根据第一降噪信号和第二降噪信号,确定检测结果,其中,检测结果用于指示第一耳筒佩戴于左耳或者右耳,和/或,检测结果用于指示第二耳筒佩戴于左耳或右耳。
本申请实施例中,由于第一麦克风和第三麦克风均位于耳筒的第一侧,第二麦克风和第四麦克风均位于耳筒的第二侧,第二侧与第一侧不同,用户心脏跳动所产生的声音可以通过骨传导的形式分别传递至第一耳筒和第二耳筒,则第一声音信号和第三声音信号除了包括外界环境所产生的声音信号之外,还包括心脏跳动所产生的心音信号,第二声音信号和第四声音信号中包括外界环境所产生的声音信号;则第一降噪信号和第二降噪信号中均可以包括清晰的心脏跳动所产生的心音信号,进而可以根据第一降噪信号和第二降噪信号确定检测结果,该检测结果指示第一耳筒和/或第二耳筒的实际佩戴位置。通过前述方案可知,本申请中不会预先设定每个耳筒的类别,而是在用户佩戴耳筒后,基于用户的实际佩戴位置来确定耳筒是佩戴在左耳还是右耳,也即用户可以随机的佩戴耳机,使用户操作更为简单,有利于提高本方案的用户粘度;此外,第一降噪信号和第二降噪信号包括的均为清晰的心音信号,有利于提高生成的检测结果的准确率。
结合上述描述,下面开始对本申请实施例提供的声音信号的处理方法的具体实现流程进行描述。为了对本申请实施例的原理有进一步地理解,请先参阅图2a,图2a为本申请实施例提供的声音信号的处理方法的一种原理示意图,用户内体的血液受到心房收缩和/或舒张的影响而单向涌动,在血液涌动过程中,流过耳内的血液产生的振动波信号较高,耳内血液产生的振动波信号可以通过鼓膜传导至耳道内,前述振动波信号能够以声音信号的方式由耳道内的麦克风(也即第一麦克风和第三麦克风)采集到。
如图所示,由于心脏位于人体的中心偏左位置,导致从心脏到左右耳的动脉路径的长度不同,则同一心跳周期内的心跳声从心脏传播到左耳的路径相比传播到右耳的路径要短。也即同一心跳周期内的心跳声到达佩戴于左耳的耳筒中的时间会早于佩戴于右耳的耳筒中的时间。第一降噪信号和第二降噪信号中均可以包括清晰的心脏跳动所产生的心音信号,第一降噪信号能够反映出心跳声到达第一耳筒的时间,第二降噪信号能够反映出心跳声到达第二耳筒的时间,因此能够根据第一降噪信号和第二降噪信号确定第一耳筒是佩戴在左耳还是右耳,对应的,也可以确定第二耳筒是佩戴在左耳还是右耳。应理解,图2a中的示意仅为方便理解本方案,不用于限定本方案。
具体的,请参阅图2b,图2b为本申请实施例提供的声音信号的处理方法的一种流程示意图,本申请实施例提供的声音信号的处理方法可以包括:
201、在检测到耳机被佩戴的情况下,执行设备获取第一声音信号、第二声音信号、第三声音信号和第四声音信号,第一声音信号为通过第一麦克风得到,第二声音信号为通过第二麦克风得到,第三声音信号为通过第三麦克风得到,第四声音信号为通过第四麦克风得到,第一麦克风位于第一耳筒的第一侧,第二麦克风位于第一耳筒的第二侧,第三麦克风位于第二耳筒的第一侧,第四麦克风位于第二耳筒的第二侧,第一侧存在耳筒的音频输出口,第二侧与第一侧不同。
本申请实施例中,执行设备可以在确定耳机的两个耳筒均被佩戴后,再开始检测两个耳筒的实际佩戴位置,也即触发开始获取第一声音信号、第二声音信号、第三声音信号和第四声音信号。需要说明的是,在耳机采集第一声音信号、第二声音信号、第三声音信号和第四声音信号的过程中,
其中,耳机包括第一耳筒和第二耳筒,第一耳筒配置有第一麦克风和第二麦克风,第二耳筒配置有第三麦克风和第四麦克风,第一声音信号为通过第一麦克风得到,第二声音信号为通过第二麦克风得到,第三声音信号为通过第二耳筒上的第三麦克风得到,第四声音信号为通过第二耳筒上的第四麦克风得到。
第一麦克风位于第一耳筒的第一侧,第二麦克风位于第一耳筒的第二侧,第三麦克风位于第二耳筒的第一侧,第四麦克风位于第二耳筒的第二侧;第一侧存在耳筒的音频输出口,第二侧与第一侧不同。进一步地,第一麦克风、第二麦克风、第三麦克风和第四麦克风均可以包括一个或多个麦克风。
为了更直观地理解本方案,请参阅图3,图3为本申请实施例提供的声音信号的处理方法中麦克风的位置的一种示意图,如图3所示,第一侧存在耳筒的音频输出口,第二侧与第一侧不同,也即用于采集周围环境中的噪声信号,应理解,图3中的示例仅为方便理解本方案,不用于限定本方案。
需要说明的是,执行设备可以为耳机,也可以为与耳机进行通信连接的目标电子设备,作为示例,例如执行设备可以具体表现为手机、平板、智能穿戴设备、虚拟现实(virtual reality,VR)设备、车辆中的车载电脑或其他可以与耳机进行通信连接的电子设备等,此处不做穷举。
针对第一声音信号、第二声音信号、第三声音信号和第四声音信号的获取过程。若执行设备为耳机,则步骤201可以包括:执行设备在检测到耳机被佩戴的情况下,通过第一麦克风采集第一声音信号,通过第二麦克风采集第二声音信号,通过第三麦克风采集第三声音信号,通过第四麦克风采集第四声音信号。
其中,第一声音信号、第二声音信号、第三声音信号和第四声音信号的起始采集时刻可以相同,且第一声音信号、第二声音信号、第三声音信号和第四声音信号的停止采集时刻可以相同。
第一声音信号、第二声音信号、第三声音信号和第四声音信号为在目标时间段内采集到的,目标时间段的取值范围可以为大于或等于心脏的一个跳动周期;可选地,目标时间段的取值范围可以为大于或等于心脏的一个跳动周期且小于或等于心脏的两个跳动周期。作为示例,例如目标时间段的取值范围可以为1秒至2.5秒,例如目标时间段的取值为1.2秒、1.5秒、2秒、2.4秒或其他取值等,此处不做穷举。
进一步地,耳机通过第一麦克风、第二麦克风、第三麦克风和第四麦克风均按照预设采样频率执行声音信号采集操作,声音信号的采样频率指的是在一秒钟内对声音信号的采样次数。预设采样频率可以为大于或等于100Hz,作为示例,例如预设采样频率可以为500Hz、2000Hz、5000Hz、8000Hz、1.1025KHz或其他取值等等,具体预设采样频率的取值可以结合实际产品形态灵活设定,此处不做限定。
本申请实施例中,由于目标时间段的取值越大,则后续信号处理过程中所花费的时间越长,而目标时间段的取值越小,则有可能采集不到一个完整的心跳周期内的声音信号,将目标时间段的取值范围确定为1秒至2.5秒,既能够保证采集到完整的声音信号,又避免对计算机资源的浪费。
若执行设备为与耳机通信连接的目标电子设备,则步骤201可以包括:执行设备在检测到耳机被佩戴的情况下,可以向耳机发送第一指令,第一指令用于指示耳机采集第一声音信号、第二声音信号、第三声音信号和第四声音信号;执行设备接收耳机发送的第一声音信号、第二声音信号、第三声音信号和第四声音信号。具体第一声音信号、第二声音信号、第三声音信号和第四声音信号的采集过程,此处不再赘述。
针对耳机的两个耳筒是否均被佩戴的检测过程。当出现以下任意一种或多种场景时,可以触发执行设备检测两个耳筒是否被佩戴:耳筒被拿起时、每次耳筒从盒子中取出时、耳筒被从耳朵中取下后或其他场景中。执行设备还可以检测耳机的每个耳筒是否被佩戴。
进一步地,若由耳机检测每个耳筒是否被佩戴,则当出现以上任意一种场景时,均会触发耳机开始检测每个耳筒是否被佩戴;若由与耳机通信连接的目标电子设备检测每个耳筒是否被佩戴,则当出现以上任意一种场景时,耳机可以向前述电子设备发送指示信息,该指示信息用于告知该电子设备开始检测耳筒是否被佩戴。
具体的,当执行设备确定存在如下任一种或多种情况时,视为检测到耳机被佩戴:检测到耳筒被放置至耳朵上、检测到与耳机通信连接的电子设备的屏幕亮屏或者其他方式等等,此处不做穷举。
更具体的,针对执行设备检测耳筒是否被放置至耳朵上的原理。在一种实现方式中,每个耳筒上可以配置有一个或多个传感器,则每个耳筒可以通过前述传感器来检测是否被佩戴。前述传感器可以具体表现为如下任一种传感器:电压传感器、电阻传感器、光敏传感器或其他类型的传感器等等,前述传感器可以具体用于采集如下任一种信息:压力值、接触面积、信号强度等等,具体通过什么类型的传感器来检查每个耳筒是否被佩戴,可以结合实际情况确定,此处不做穷举。
在另一种实现方式中,可以通过耳筒中的扬声器发出探测信号后,并通过发出探测信号的耳筒中的麦克风(也即同侧耳筒中的麦克风)采集到探测信号所对应的反馈信号,由于当耳筒不被佩戴时,耳筒的对应空间开放,耳筒中的麦克风能够采集到的反馈信号(为方便描述,记为“信号A”)较少;当耳筒被用户佩戴时,耳筒的腔体与用户的耳道(和/或耳廓)形成密闭腔,探测信号被耳朵多次反射,耳筒中的麦克风能够采集到大量的反馈信号(为方便描述,记为“信号B”),信号A的第一特征信息和信号B的第一特征信息区别很明显,因此通过对比信号A的第一特征信息和信号B的第一特征信息,能够区分耳筒是否被用户佩戴等。需要说明的是,还可以采用其他方式来检测耳筒是否被放置至耳朵上,本申请实施例中不对检测耳筒是否被放置至耳朵上的所有实现方式进行穷举。
若执行设备检测到耳筒尚未被佩戴,可以继续检测耳筒是否被佩戴。可选地,可以在前述检测的次数达到预设次数时,就停止检测耳筒是否被佩戴,预设次数可以为1次、2次、3次或其他数值等;或者,可以在前述检测的时长达到预设时长时,就停止检测耳筒是否被佩戴,预设时长可以为2分钟、3分钟、5分钟或其他时长等;或者,可以为持续检测耳筒是否被佩戴直至检测到用户佩戴耳筒。
需要说明的是,若为由耳机检测每个耳筒是否被佩戴,由与耳机通信连接的目标电子设备检测第一耳筒和/或第二耳筒被佩戴于左耳或右耳,则耳机在检测到每个耳筒被佩戴后,可以向该目标电子设备发送指示信息,前述指示信息用于告知目标电子设备该两个耳筒均被佩戴,以触发目标电子设备开始检测第一耳筒和/或第二耳筒被佩戴于左耳或右耳。
对应的,若为由与耳机通信连接的目标电子设备检测每个耳筒是否被佩戴,由耳机检测第一耳筒和/或第二耳筒被佩戴于左耳或右耳,则目标电子设备在检测到每个耳筒被佩戴后,可以向耳机发送指示信息,前述指示信息用于告知耳机该两个耳筒均被佩戴,以触发耳机开始检测第一耳筒和/或第二耳筒被佩戴于左耳或右耳。
202、执行设备根据第二声音信号对第一声音信号进行降噪处理,得到第一降噪信号。
本申请实施例中,由于第一麦克风采集到的第一声音信号中不仅会包括心脏跳动所产生的声音信号,还可以包括周围环境中的声音信号,而第二麦克风不位于耳道内,采集不到心脏跳动所产生的声音信号,则第二声音信号中可以包括周围环境中的声音信号。执行设备在得到第二声音信号和第一声音信号之后,可以根据第二声音信号对第一声音信号进行降噪处理,得到第一降噪信号;也即减弱第一声音信号中包括的周围环境中的声音信号,以尽量只留下心脏跳动所产生的声音信号。
具体的,在一种实现方式中,执行设备可以先对第一声音信号和第二声音信号在时域上执行对齐操作,之后获取第二声音信号的反相信号,将第二声音信号的反相信号和第一声音信号在相同的时域位置上叠加,得到第一降噪信号。
其中,作为示例,例如第一声音信号和第二声音信号具体可以表现为数组,第一声音信号所对应的数组中的每个数的取值代表第一声音信号在一个时间点上的强度,对应的,第二声音信号所对应的数组中的每个数的取值代表第二声音信号在一个时间点上的强度。
第二声音信号的反相信号和第二声音信号之间的相位差为180度,也即将第二声音信号的反相信号和第二声音信号进行叠加后会没有声音。
为了更直观地理解本方案,请参阅图4,图4为本申请实施例提供的声音信号的处理方法中第二声音信号的反相信号的一种示意图,图4中的示出了原始声音信号、原始声音信号的反相信号以及该反相信号和原始信号叠加后得到的信号,应理解,图4中的示例仅为方便理解反相信号这一概念,不用于限定本方案。
在另一种实现方式中,执行设备可以先对第一声音信号和第二声音信号在时域上执行对齐操作,之后将第一声音信号和第二声音信号在在相同的时域位置上相减,得到第一降噪信号。
为了更直观地理解本方案,请参阅图5,图5为本申请实施例提供的声音信号的处理方法中第一降噪信号的一种示意图,图5中示出了第一声音信号和第二声音信号,以及利用第二声音信号对第一声音信号进行降噪处理后得到的第一降噪信号,如图所示,第一降噪信号更能清晰的反映出心脏跳动所产生的声音信号,应理解,图5中的示例仅为方便理解本方案,不用于限定本方案。
可选地,执行设备在利用第二声音信号对第一声音信号进行降噪处理之前,在一种实现方式中,执行设备可以将第一声音信号输入至放大器中,以通过放大器对第一声音信号进行放大,放大后的第一声音信号的信号强度与第二声音信号的信号强度一致。
在另一种实现方式中,执行设备可以对第一声音信号和第二声音信号均执行归一化处理,进行过归一化处理后的第一声音信号所对应的数组的取值可以被限定至0至1之间,进行过归一化处理后的第二声音信号所对应的数组的取值可以被限定至0至1之间,也即进行过归一化处理后的第一声音信号和第二声音信号的信号强度一致。
需要说明的是,为了实现处理后的第一声音信号和第二声音信号的信号强度一致,执行设备还可以将第一声音信号和/或第二声音信号所对应的数组的取值范围放大/缩小至其他区域范围,或者,执行设备还可以采用其他方式对第一声音信号的第二声音信号进行处理,只要保证处理后的第一声音信号和处理后的第二声音信号的信号强度一致即可,此处不限定具体的实现方式。
此外,执行设备可以先将第一声音信号和第二声音信号的信号强度调整至一致,再在时域上将第一声音信号和第二声音信号对齐;也可以先在时域上将第一声音信号和第二声音信号对齐,再将第一声音信号和第二声音信号的信号强度调整至一致。
本申请实施例中,由于第二声音信号是由位于耳筒外侧的麦克风采集到的,则第二声音信号的信号强度可能会大于第一声音信号的信号强度,对第一声音信号的第二声音信号进行处理,使得处理后的第一声音信号和处理后的第二声音信号的信号强度一致,以避免第一声音信号和第二声音信号的信号强度的不同给降噪过程造成影响,有利于提高降噪过程的性能,进而有利于得到更为准确的检测结果。
可选地,执行设备在根据第二声音信号对第一声音信号进行降噪处理之前,还可以利用滤波器对第一声音信号和第二声音信号执行滤波操作,滤波后的第一声音信号所在频段为预设频段,滤波后的第二声音信号所在频段为该预设频段。
其中,该滤波操作的目的包括如下任一种或多种:滤除由于呼吸在声源上造成的噪声,或者,滤除第一声音信号和第二声音信号携带的周围环境中的高频噪音。
作为示例,例如预设频段的范围可以为0-12Hz、0-15Hz、0-25Hz、0-40Hz、0.3-12Hz、0.3-15Hz、0.3-25Hz、0.3-40Hz、0.5-12Hz、0.5-15Hz、0.5-40Hz或其他取值范围等,此处不对预设频段的取值进行穷举。
需要说明的是,该滤波操作的执行顺序可以位于“在时域上对齐”和“将第一声音信号和第二声音信号的信号强度调整至一致”这两个步骤中的任一步骤的之前或之后。
本申请实施例中,一般情况下,心脏跳动产生的声音信号的频率不会过于高,心脏跳动产生的声音信号的频率也不会过于低,对第一声音信号和第二声音信号执行该滤波操作,在对第一声音信号和第二声音信号执行该滤波操作,有利于将无用频段的噪声滤除,从而有利于得到更为精确的第一噪声信号,进而有利于得到更为准确的检测结果。
203、执行设备根据第四声音信号对第三声音信号进行降噪处理,得到第二降噪信号。
本申请实施例中,步骤203的具体实现方式与步骤202的具体实现方式类似,区别在于,将步骤202中的“第一声音信号”替换为步骤203中的“第三声音信号”,将步骤202中的“第二声音信号”替换为步骤203中的“第四声音信号”。
需要说明的是,本申请实施例不限定步骤202和203的执行顺序,可以先执行步骤202,再执行步骤203;或者,也可以先执行步骤203,再执行步骤202;或者,可以同时执行步骤202和203。
204、执行设备获取第一降噪信号中第一波峰的出现时间和第一降噪信号中第二波峰的出现时间,第一波峰的高度大于或等于第一高度阈值,第二波峰的高度大于或等于第二高度阈值且小于第一高度阈值。
本申请的一些实施例中,由于第一降噪信号中可以包括多个波峰,执行设备可以获取第一降噪信号中至少一个第一波峰的出现时间和至少一个第二波峰的出现时间。
其中,第一波峰的出现时间和第二波峰的出现时间的度量单位可以为采样点、秒、毫秒或其他时间度量单位等,作为示例,例如第一波峰的出现时间在第0.15秒-0.4秒;作为另一示例,例如第二波峰的出现时间在第200个采样点至240个采样点等,具体采用什么样的时间度量单位可以结合实际应用场景灵活确定,此处不做限定。
第一波峰指的是第一降噪信号中高度大于或等于第一高度阈值的波峰,第一波峰的出现时间与心房收缩时所产生的声音信号传递至第一耳筒的时间对应;第二波峰指的是第一降噪信号中高度大于或等于第二高度阈值且小于第一高度阈值的波峰,第二波峰的出现时间与心室收缩(也即心房舒张)时所产生的声音信号传递至第一耳筒的时间对应。
进一步地,第一高度阈值和第二高度阈值的取值可以结合实际产品形态确定,第一高度阈值所考虑的因素可以包括:对不同的人进行测试得到的第一降噪信号中与心房收缩对应的波峰的高度、对不同环境中进行测试得到的第一降噪信号中与心房收缩对应的波峰的高度、对不同运动状态下进行测试得到的第一降噪信号中与心房收缩对应的波峰的高度、耳机的型号或其他因素等等,此处不做穷举。
对应的,第一高度阈值所考虑的因素可以包括:对不同的人进行测试得到的第一降噪信号中与心室收缩对应的波峰的高度、对不同环境中进行测试得到的第一降噪信号中与心室收缩对应的波峰的高度、对不同运动状态下进行测试得到的第一降噪信号中与心室收缩对应的波峰的高度、耳机的型号或其他因素等等,此处不做穷举。
更进一步地,不同型号的耳机中,第一高度阈值的取值可以相同或不同,第二高度阈值的取值也可以相同或不同。
需要说明的是,由于第一声音信号和第二声音信号的采集时长可以大于1个心跳周期,也即第一降噪信号反映的可以为多于1个心跳周期所产生的声音信号,则第一降噪信号中可能会出现多个第一波峰和/或多个第二波峰。
为更直观地理解本方案,请参阅图6,图6为本申请实施例提供的声音信号的处理方法中第一波峰和第二波峰的一种示意图。如图所示,第一波峰的高度大于第二波峰的高度,应理解,图6中的举例仅为方便理解第一波峰和第二波峰的概念,不用于限定本方案。
205、执行设备获取第二降噪信号中第一波峰的出现时间和第二降噪信号中第二波峰出现时间。
本申请的一些实施例中,执行设备还可以获取第二降噪信号中第一波峰的出现时间和第二波峰出现时间,步骤205的具体实现方式与步骤204的具体实现方式类似,区别在于,将步骤204中的“第一降噪信号”替换为步骤205中的“第二降噪信号”,将步骤204中的“第一波峰”替换为步骤205中的“第一波峰”,将步骤204中的“第二波峰”替换为步骤205中的“第二波峰”。
需要说明的是,本申请实施例不限定步骤204和205的执行顺序,可以先执行步骤204,再执行步骤205;或者,也可以先执行步骤205,再执行步骤204;或者,可以同时执行步骤204和205。
206、执行设备判断第一顺序和第二顺序是否一致,若判断结果为是,则进入步骤207;若判断结果为否,则重新进入步骤201。
本申请的一些实施例中,执行设备可以判断第一顺序和第二顺序是否一致,若判断结果为是,则进入步骤207;若判断结果为否,则重新进入步骤201,也即获取新的第一声音信号、第二声音信号、第三声音信号和第四声音信号。
其中,第一顺序指示第一降噪信号中第一波峰和第一降噪信号中第二波峰之间的出现顺序,第二顺序指示第二降噪信号中第一波峰和第二降噪信号中第二波峰之间的出现顺序。
进一步地,若第一顺序指示第一降噪信号中第一波峰早于第一降噪信号中第二波峰出现,且第二顺序指示第二降噪信号中第一波峰早于第二降噪信号中第二波峰出现,则代表第一顺序和第二顺序所指示的出现顺序一致。或者,
若第一顺序指示第一降噪信号中第一波峰晚于第一降噪信号中第二波峰出现,且第二顺序指示第二降噪信号中第一波峰晚于第二降噪信号中第二波峰出现,则代表第一顺序和第二顺序所指示的出现顺序一致。
207、执行设备根据第一出现时间和第二出现时间,生成检测结果,检测结果用于指示第一耳筒佩戴于左耳或者右耳,和/或,检测结果用于指示第二耳筒佩戴于左耳或右耳。
本申请实施例中,步骤204至206为可选步骤,若不执行步骤204至206,则在执行完步骤203后,可以直接进入步骤207。若执行步骤204至206,则在确定第一顺序和第二顺序一致的情况下,执行设备可以根据第一出现时间和第二出现时间,生成检测结果,检测结果用于指示第一耳筒佩戴于左耳或者右耳,和/或,检测结果用于指示第二耳筒佩戴于左耳或右耳。其中,第一出现时间包括与第一降噪信号中至少一个波峰对应的时间,第二出现时间包括与第二降噪信号中至少一个波峰对应的第二出现时间。
本申请实施例中,由于第一降噪信号中至少一个波峰可以包括心房收缩时产生的声音所对应的波峰,还可以包括心房舒张时产生的声音所对应的波峰,心房收缩时产生的声音所对应的波峰高于心房舒张时产生的声音所对应的波峰,也即降噪信号中第一波峰的出现时间与心房收缩时产生的声音到达耳筒中的时间对应,降噪信号中第二波峰的出现时间与心室收缩(也即心房舒张)时产生的声音到达耳筒中的时间对应。
由于可能会存在一个降噪信号中第一个波峰所对应的当前心跳周期中心房收缩产生的声音,另一个降噪信号中第一个波峰所对应的为上一心跳周期中心房舒张产生的声音,也即第一降噪信号和第二降噪信号中第一个波峰所对应的可能会是不同的心跳周期,而在参阅上述图2a所示出的原理图可知,需要对比同一心跳周期内心跳声到第一耳筒和第二耳筒的时间,才能确定第一耳筒和/或第二耳筒的佩戴位置。若第一顺序和第二顺序一致,则能够证明第一降噪信号和第二降噪信号所对应的是相同的心跳周期,进而有利于提高生成的检测结果的准确率。
针对“该检测结果”的确定过程。执行设备可以根据与第一降噪信号中至少一个波峰对应的第一出现时间,和,与第二降噪信号中至少一个波峰对应的第二出现时间,确定该检测结果;对于执行设备获取第一降噪信号(或第二降噪信号)中每个波峰所对应的出现时间的具体实现方式,可以参阅上述步骤204中的描述,此处不做赘述。
为更直观地理解本方案,请参阅图7,图7为本申请实施例提供的声音信号的处理方法中降噪信号的一种示意图,如图7所示,将得到的第一降噪信号和第二降噪信号放置到一起,可以看出,第一降噪信号中第一波峰的出现时间更早,因此,第一降噪信号所对应的第一耳筒的佩戴位置被确定为左耳,第二降噪信号所对应的第二耳筒的佩戴位置被确定为右耳,应理解,图7中的示例仅为方便理解本方案,不用于限定本方案。
本申请实施例中,第一降噪信号中至少一个波峰的出现时间至少可以包括用户心房收缩时所产生的声音信号传递至第一耳筒时的时间,第二降噪信号中至少一个波峰的出现时间至少可以包括用户心房收缩时所产生的声音信号传递至第一耳筒时的时间,因此,基于第一降噪信号和第二降噪信号中至少一个波峰的出现时间,能够确定该检测结果;提供了检测结果的一种简单的确定方式,易于操作。
具体的,在一种实现方式中,第一出现时间包括第一降噪信号中第一个波峰的出现时间,第二出现时间包括第二降噪信号中第一个波峰的出现时间。步骤207可以包括:若执行设备确定第一降噪信号中第一个波峰的出现时间早于第二降噪信号中第一个波峰出现的时间,则生成的检测结果指示第一耳筒佩戴于左耳,第二耳筒佩戴于右耳;若执行设备确定第一降噪信号中第一个波峰的出现时间晚于第二降噪信号中第一个波峰出现的时间,则生成的检测结果指示第一耳筒佩戴于右耳,第二耳筒佩戴于左耳。
在另一种实现方式中,第一出现时间包括第一降噪信号中的一个或多个第一波峰的出现时间,第二出现时间包括第二降噪信号中的一个或多个第一波峰的出现时间。步骤207可以包括:若执行设备确定第一降噪信号中第一波峰的出现时间早于第二降噪信号中第一波峰的出现时间,则确定第一耳筒佩戴于左耳,第二耳筒佩戴于右耳;若执行设备确定第一出现时间和第二出现时间,确定第一降噪信号中第一波峰的出现时间晚于第二降噪信号中第一波峰的出现时间,则确定第一耳筒佩戴于右耳,第二耳筒佩戴于左耳。
进一步地,由于第一降噪信号和第二降噪信号中均可以包括一个或多个第一波峰,则“第一降噪信号中第一波峰的出现时间早于第二降噪信号中第一波峰的出现时间”指的可以为第一降噪信号中的第N个第一波峰的出现时间早于第二降噪信号中第N个第一波峰的出现时间,N为大于或等于1的整数。
在另一种实现方式中,第一出现时间包括第一降噪信号中的一个或多个第二波峰的出现时间,第二出现时间包括第二降噪信号中的一个或多个第二波峰的出现时间。步骤207可以包括:若执行设备确定第一降噪信号中第二波峰的出现时间早于第一降噪信号中第二波峰的出现时间,则确定第一耳筒佩戴于左耳,第二耳筒佩戴于右耳;若执行设备确定第一降噪信号中第二波峰的出现时间晚于第一降噪信号中第二波峰的出现时间,则确定第一耳筒佩戴于右耳,第二耳筒佩戴于左耳。
进一步地,由于第一降噪信号和第二降噪信号中均可以包括一个或多个第二波峰,则“第一降噪信号中第二波峰的出现时间早于第二降噪信号中第二波峰的出现时间”指的可以为第一降噪信号中的第N个第二波峰的出现时间早于第二降噪信号中第N个第二波峰的出现时间,N为大于或等于1的整数。
本申请实施例中,提供了根据降噪信号中至少一个波峰所对应的出现时间,确定该检测结果的多种实现方式,提高了本方案的实现灵活性。
208、执行设备根据第一声音信号和第二声音信号,确定与第一耳筒对应的第一佩戴信息,第一佩戴信息指示第一耳筒的佩戴松紧状态。
本申请的一些实施例中,执行设备还可以第一声音信号和第二声音信号,确定与第一耳筒对应的第一佩戴信息,第一佩戴信息指示第一耳筒的佩戴松紧状态,其中,第一耳筒的佩戴松紧状态可以包括第一耳筒处于戴紧状态和第一耳筒处于戴松状态。
为更直观地理解本方案,请参阅图8,图8为本申请实施例提供的声音信号的处理方法中确定第一耳筒的佩戴松紧状态的一种原理示意图,如图所示,由于噪声可以通过耳筒与耳朵之间的缝隙进入到耳道内,则第一声音信号和第二声音信号中均包括周围环境中的噪声信号,若第一耳筒处于戴紧状态,则进入耳道内的噪声信号会较少,第一声音信号和第二声音信号之间的差异会更大;若第一耳筒处于未戴紧状态,则进入耳道内的噪声信号会较多,第一声音信号和第二声音信号之间的差异会更少,应理解,图8中的示例仅为方便理解本方案,不用于限定本方案。
具体的,在一种情况中,执行设备可以根据第一声音信号的强度和第二声音信号的强度之间的差异,来确定与第一耳筒对应的第一佩戴信息。
更具体的,在一种实现方式中,执行设备可以将第一声音信号和第二声音信号在时域上对齐后,执行设备将第二声音信号减去第一声音信号,得到处理后的信号,处理后的信号中包括多个值,前述多个值中的每个值代表每个时间点上第二声音信号和第一声音信号之间的强度差值。执行设备根据前述多个值生成第一值,若第一值小于或等于第一预设阈值,则确定第一耳筒为戴紧状态;若第一值大于第一预设阈值,则确定第一耳筒为戴松状态。
其中,第一值为对上述多个值进行统计处理后得到的,第一值可以为上述多个值的平均值、最大值、最小值、上述多个值中任意一个值或其他取值方式等。
为更直观地理解本方案,请参阅图9,图9为本申请实施例提供的声音信号的处理方法中确定第一耳筒的佩戴松紧状态的一种流程示意图,如图所示,B1、在检测到耳机被佩戴的情况下,执行设备获取第一声音信号和第二声音信号,第一声音信号为通过第一麦克风得到,第二声音信号为通过第二麦克风得到,第一麦克风位于第一耳筒的第一侧,第二麦克风位于第一耳筒的第二侧,第一侧存在耳筒的音频输出口,第二侧与第一侧不同。B2、执行设备将第二声音信号减去第一声音信号,得到处理后的信号,处理后的信号中包括多个值,前述多个值中的每个值代表每个时间点上第二声音信号和第一声音信号之间的强度差值。B3、执行设备判断第一值是否小于或等于第一预设阈值,若判断结果为是,则进入步骤B4;若判断结果为否,则进入B5。B4、执行设备确定第一耳筒为戴紧状态。B5、执行设备确定第一耳筒为戴松状态。应理解,图9中的示例仅为方便理解本方案,不用于限定本方案。
更具体的,在一种实现方式中,执行设备可以将第一声音信号和第二声音信号在时域上对齐后,将第一声音信号与第二声音信号相除,得到处理后的信号,处理后的信号中包括多个值,前述多个值中的每个值代表每个时间点上第二声音信号和第一声音信号之间的强度的比值。执行设备根据前述多个值生成第二值,若第二值小于或等于第二预设阈值,则确定第一耳筒为戴紧状态;若第二值大于第二预设阈值,则确定第一耳筒为戴松状态。
其中,第二值为对上述多个值进行统计处理后得到的,第二值可以为上述多个值的平均值、最大值、最小值、上述多个值中任意一个值或其他取值方式等。
在另一种情况中,执行设备上可以计算第一声音信号和第二声音信号之间的相似度,若第一声音信号和第二声音信号之间的相似度小于或等于第三预设阈值,则确定第一耳筒为戴紧状态;若第一声音信号和第二声音信号之间的相似度大于第三预设阈值,则确定第一耳筒为戴松状态。
其中,第一声音信号和第二声音信号之间的相似度可以通过计算第一声音信号和第二声音信号之间的余弦相似度、欧式距离、马氏距离或其他方式得到等,此处不做穷举。
209、执行设备根据第三声音信号和第四声音信号,确定与第二耳筒对应的第二佩戴信息,第二佩戴信息指示第二耳筒的佩戴松紧状态。
本申请实施例中,步骤206的具体实现方式与步骤205的具体实现方式类似,可直接参阅理解,此处不做赘述。
本申请实施例中,不仅可以自动检测每个耳筒是佩戴在左耳还是右耳,而且可以检测耳筒的佩戴松紧状态,也即可以自动得到更多的佩戴信息,有利于向用户提供更多个性化的服务,有利于提高本方案的用户粘度。
本申请实施例中,由于第一麦克风和第三麦克风均位于耳筒的第一侧,第二麦克风和第四麦克风均位于耳筒的第二侧,第二侧与第一侧不同,用户心脏跳动所产生的声音可以分别传递至第一耳筒和第二耳筒,则第一声音信号和第三声音信号除了包括外界环境所产生的声音信号之外,还包括心脏跳动所产生的心音信号,第二声音信号和第四声音信号中包括外界环境所产生的声音信号;则第一降噪信号和第二降噪信号中均可以包括清晰的心脏跳动所产生的心音信号,进而可以根据第一降噪信号和第二降噪信号确定检测结果,该检测结果指示第一耳筒和/或第二耳筒的实际佩戴位置。通过前述方案可知,本申请中不会预先设定每个耳筒的类别,而是在用户佩戴耳筒后,基于用户的实际佩戴位置来确定耳筒是佩戴在左耳还是右耳,也即用户可以随机的佩戴耳机,使用户操作更为简单,有利于提高本方案的用户粘度;此外,第一降噪信号和第二降噪信号包括的均为清晰的心音信号,有利于提高生成的检测结果的准确率。
本申请实施例还提供了另一种声音信号的处理方法,请参阅图10,图10为本申请实施例提供的声音信号的处理方法的一种流程示意图,本申请实施例提供的声音信号的处理方法可以包括:
1001、在用户处于静息状态时,执行设备获取第五声音信号和第六声音信号,第五声音信号通过第一麦克风得到,第六声音信号通过第二麦克风得到,第一麦克风和目标耳筒的音频输出口位于目标耳筒的同一侧,第二麦克风与第一麦克风位于目标耳筒的不同的两侧。
1002、执行设备根据第六声音信号对第五声音信号进行降噪处理,得到第三降噪信号。
本申请实施例中,在用户首次佩戴耳机、耳机首次与其他电子设备通信连接或其他场景中,可以触发耳机提醒用户处于静息状态,以采集用户在静息状态下,与用户心脏跳动对应的至少一种类型的参数。
其中,用户在静息状态下可以为用户保持一种坐姿、站姿或躺平等姿势保持不动的状态下。目标耳筒为耳机包括的两个耳筒中任意一个耳筒。
步骤1001和1002的具体实现方式、第一麦克风和第二麦克风在耳筒上的位置均可以参阅图2b对应实施例中步骤201和202的描述,区别在于,第一,在图2b对应的实施例中,第五声音信号和第六声音信号是在目标时间段内采集到的,在图10对应的实施例中,第五声音信号和第六声音信号是在第一时间段内采集到的,可选地,第一时间段的长度大于或等于目标时间段的长度,作为示例,例如第一时间段可以为5秒、10秒、15秒或其他长度等,此处不做穷举。
第二,将图2b对应实施例中的“第一声音信号”替换为图10对应实施例中的“第五声音信号”,将图2b对应实施例中的“第二声音信号”替换为图10对应实施例中的“第六声音信号”,将图2b对应实施例中的“第一降噪信号”替换为图10对应实施例中的“第三降噪信号”,此处不对步骤1001和1002的具体实现方式进行赘述。
1003、执行设备根据第三降噪信号,生成目标参数,目标参数包括在用户处于静息状态下,与用户心脏跳动对应的至少一种类型的参数。
本申请实施例中,执行设备可以根据第三降噪信号,可以生成目标参数,目标参数包括与用户心脏跳动对应的至少一种类型的参数,作为示例,例如前述至少一种类型的参数可以包括心跳频率、心跳强度或其他类型的参数等,具体采集哪些类型的参数,需要结合实际产品形态灵活设定,此处不做穷举。
针对参照心跳频率的获取过程。执行设备获取第三降噪信号中至少一个波峰的出现个数,根据第三降噪信号中至少一个波峰的出现时间,可以确定用户在静息状态下的参照心跳频率。
具体的,在一种实现方式中,执行设备可以获取第三降噪信号中的第一波峰的个数,并根据第一时间段的长度,确定用户在静息状态下的参照心跳频率;其中,第一波峰指的是第三降噪信号中高度大于或等于第一高度阈值的波峰,第一波峰的出现时间与心房收缩时所产生的声音信号传递至目标耳筒的时间对应,也即第一时间段内第一波峰的个数能够代表第一时间段内用户的心房收缩的次数,也即第一时间段内第一波峰的个数能够代表第一时间段内的心跳次数,因此能够得到用户在静息状态下的参照心跳频率。
在另一种实现方式中,执行设备可以获取第三降噪信号中的第二波峰的个数,并根据第一时间段的长度,确定用户在静息状态下的参照心跳频率;其中,第二波峰指的是第三降噪信号中高度大于或等于第二高度阈值且小于第一高度阈值的波峰,第二波峰的出现时间与心室收缩(也即心房舒张)时所产生的声音信号传递至目标耳筒的时间对应,也即第一时间段内第二波峰的个数能够代表第一时间段内用户的心室收缩(也即心房舒张)的次数,也即第一时间段内第二波峰的个数能够代表第一时间段内的心跳次数,因此能够得到用户在静息状态下的参照心跳频率。
在另一种实现方式中,执行设备可以获取第三降噪信号中波峰的总个数,并根据第一时间段的长度,确定用户在静息状态下的参照心跳频率;其中,第三降噪信号中的多个波峰可以包括与用户的心房收缩对应的波峰和与用户的心室收缩(也即心房扩张)对应的波峰,也即第一时间段内所有波峰的总个数可以视为第一时间段内的心跳次数的2倍,因此能够得到用户在静息状态下的参照心跳频率。
需要说明的是,执行设备根据第三降噪信号,还可以采用其他方式得到用户在静息状态下的参照心跳频率,此处不做穷举。
针对心跳强度的获取过程。执行设备可以根据第三降噪信号中至少一个波峰的高度,确定用户在静息状态下的心跳强度。
具体的,在一种实现方式中,执行设备可以获取第三降噪信号中每个第一波峰的高度,并根据第三降噪信号中多个第一波峰的高度,确定与用户在静息状态下对应的第一波峰的一个第一参照高度,与用户在静息状态下对应的第一波峰的一个第一参照高度代表用户在静息状态下的心房收缩时的强度。
其中,第一波峰指的是第三降噪信号中高度大于或等于第一高度阈值的波峰,第一波峰是由用户心房收缩时所产生的声音信号传递至目标耳筒所引起的,用户心房收缩的强度越大,则用户心房收缩时所产生的声音信号越大,则第一波峰的高度越高,因此,第一波峰的高度能够代表用户心房收缩时的强度。
进一步地,与用户在静息状态下对应的第一波峰的一个第一参照高度可以为第三降噪信号中多个第一波峰的高度的平均值、中位值、最大值、最小值或其他类型的数值等,具体采用哪种数值可以结合实际应用场景确定。
在另一种实现方式中,执行设备可以获取第三降噪信号中每个第二波峰的高度,并根据第三降噪信号中多个第二波峰的高度,确定与用户在静息状态下对应的第二波峰的一个第二参照高度,与用户在静息状态下对应的第二波峰的一个第二参照高度代表用户在静息状态下的心室收缩时的强度。
其中,第二波峰指的是第三降噪信号中高度大于或等于第二高度阈值且小于第一高度阈值的波峰,第二波峰是由用户心室收缩时所产生的声音信号传递至目标耳筒所引起的,用户心室收缩的强度越大,则用户心室收缩时所产生的声音信号越大,则第二波峰的高度越高,因此,第二波峰的高度能够代表用户心室收缩时的强度。
进一步地,与用户在静息状态下对应的第二波峰的一个第二参照高度可以为第三降噪信号中多个第二波峰的高度的平均值、中位值、最大值、最小值或其他类型的数值等,具体采用哪种数值可以结合实际应用场景确定。
在另一种实现方式中,执行设备可以获取与用户在静息状态下对应的第一波峰的一个第一参照高度,和,与用户在静息状态下对应的第二波峰的一个第二参照高度;其中,与用户在静息状态下对应的第一波峰的一个第一参照高度代表用户在静息状态下的心房收缩时的强度,与用户在静息状态下对应的第二波峰的一个第二参照高度代表用户在静息状态下的心室收缩时的强度。
需要说明的是,无论步骤1001至1003中的执行设备是耳机,还是与耳机通信连接的其他电子设备,在生成上述目标参数后,耳机存储前述目标参数,目标参数包括在用户处于静息状态下,与用户心脏跳动对应的至少一种类型的参数。
1004、在耳机被佩戴的情况下,执行设备获取第一声音信号和第二声音信号,第一声音信号通过第一麦克风得到,第二声音信号通过第二麦克风得到,第一麦克风和目标耳筒的音频输出口位于目标耳筒的同一侧,第二麦克风与第一麦克风位于目标耳筒的不同的两侧。
1005、执行设备根据第二声音信号对第一声音信号进行降噪处理,得到目标降噪信号。
1006、执行设备根据目标降噪信号,获取目标降噪信号在第一波峰处的第一高度,并获取目标降噪信号在第二波峰处的第二高度。
1007、执行设备根据目标降噪信号,确定用户的心跳频率。
本申请实施例中,步骤1004至1007的具体实现方式可参阅上述步骤1001至1003中的描述,将步骤1001至1003对应实施例中的“第五声音信号”替换为步骤1004至1007对应实施例中的“第一声音信号”,将步骤1001至1003对应实施例中的“第六声音信号”替换为步骤1004至1007对应实施例中的“第二声音信号”,将步骤1004至1007对应实施例中的“第三降噪信号”替换为步骤1004至1007对应实施例中的“目标降噪信号”,将步骤1004至1007对应实施例中的“第一参照高度”替换为步骤1004至1007对应实施例中的“第一高度”,将步骤1004至1007对应实施例中的“第二参照高度”替换为步骤1004至1007对应实施例中的“第二高度”,此处不做一一赘述。
需要说明的是,本申请实施例不限定步骤1001至1003和步骤1004至1007之间的执行次序,可以在执行步骤1001至1003一次或多次后,执行步骤1004至1007多次。
1008、执行设备确定用户的心脏状态信息和/或用户的入眠状态。
本申请实施例中,步骤1006为可选步骤,若不执行步骤1006,在一种实现方式中,步骤1008可以包括:执行设备可以在通过步骤1003获取到用户在静息状态下的参照心跳频率和通过步骤1007获取到的用户的当前心跳频率之后,比较当前心跳频率和参照心跳频率之间的大小,以确定用户的心脏状态信息,前述用户的心脏状态信息包括用户当前的心跳剧烈程度。
可选地,当执行设备确定用户心跳过快或用户心跳过缓时,可以向用户输出建议信息,该建议信息可以是在心跳过快时提示用户休息指令或放松指令,也可以是心跳过缓时给出的健康状态预警。
进一步可选地,执行设备在输出上述建议信息后,还可以收集用户针对上述建议信息输入的反馈信息,以确定所判断的用户心跳剧烈程度是否可以真实反映用户当前身体素质的真实表现水平。前述步骤可以重复执行多次,以逐渐增强对用户心率变化的学习与监测,从而提高心跳剧烈程度判断的准确率。
在另一种实现方式中,步骤1008可以包括:执行设备可以根据用户的心跳频率和用户在静息状态下的参照频率,确定用户的入眠状态。
具体的,当用户在睡眠时佩戴耳机的情况下,执行设备可以第一时间段为滑动窗口,执行步骤1004、步骤1005和步骤1007多次,以不断更新用户的当前心跳频率,从而获得用户在多个时刻的当前心跳频率。执行设备可以将多个当前心跳频率与参照心跳频率进行比较,以确定用户的入眠状态。
其中,用户的入眠状态可以包括用户从清醒到睡眠这一过程中的多个状态,作为示例,例如用户的入眠状态可以包括清醒状态、正在进入睡眠状态、睡眠状态或其他类型的入眠状态等等。执行设备可以根据用户的入眠状态控制耳机执行如下任一种或多种操作:调小音量、关机或其他操作等。
更具体的,当用户的当前心跳频率小于或等于参照心跳频率时,可以确定用户正在进入睡眠状态,则可以调小耳机播放音频流的音量。
可选地,在持续一段时间后,若没有获取到用户输入的新的交互操作、新的当前心跳频率小于或等于参照心跳频率且新的当前心跳频率小于或等于旧的当前心跳频率,则可以确定用户已经进入睡眠状态,则可以控制耳机关机。
本申请实施例中,根据用户的心跳频率可以得到用户的心脏状态信息和/或用户的入眠状态,从而可以基于前述信息对用户提供更为个人化的服务,有利于进一步提高本方案的用户粘度。
在另一种实现方式中,若执行步骤1006,步骤1008可以包括:执行设备可以根据第一高度和/或第二高度,确定用户的心脏状态信息,该心脏状态信息用于指示用户心房和/或心室跳动强度信息。
其中,第一高度用于反映用户心房收缩时的当前强度,第一参照高度代表用户在静息状态下的心房收缩时的强度,第二高度用于反映用户心室收缩(也即心房舒张)时的当前强度,第二参照高度代表用户在静息状态下的心房收缩时的强度。
具体的,在一种实现方式中,执行设备可以对比第一高度和第一参照高度,若第一高度大于第一参照高度,且第一高度和第一参照高度之间的差值大于预设阈值,可以确定用户心房跳动强度过大;若第一高度小于第一参照高度,且第一高度和第一参照高度之间的差值大于预设阈值,可以确定用户心房跳动强度过小;若第一高度和第一参照高度之间的差值小于预设阈值,则可以确定用户心房跳动强度正常。
在另一种实现方式中,执行设备可以对比第二高度和第二参照高度,若第二高度大于第二参照高度,且第二高度和第二参照高度之间的差值大于预设阈值,可以确定用户心室跳动强度过大;若第二高度小于第二参照高度,且第二高度和第二参照高度之间的差值大于预设阈值,可以确定用户心室跳动强度过小;若第二高度和第二参照高度之间的差值小于预设阈值,则可以确定用户心室跳动强度正常。
在另一种实现方式中,执行设备可以通过对比第一高度和第一参照高度,来确定用户心房跳动强度是否正常;执行设备还可以对比第二高度和第二参照高度,来确定用户心室跳动强度是否正常。
可选地,执行设备在确定用户的心房跳动强度过大或过小时,可以输出提示信息,前述指示信息用于告知用户的心房的当前跳动强度过大或过小;对应的,执行设备在确定用户的心室跳动强度过大或过小时,可以输出提示信息,前述指示信息用于告知用户的心室的当前跳动强度过大或过小。
本申请实施例中,还能够根据目标降噪信号得到用户的心房的跳动强度信息和心室的跳动强度信息,也即能够更加全面的监控用户的心脏健康状态。
本申请实施例中,由于第一麦克风和耳筒的音频输出口位于耳筒的同一侧,第二麦克风位于第二侧,第二侧与第一侧不同,用户心脏跳动所产生的声音可以传递至目标耳筒,则第一声音信号除了包括外界环境所产生的声音信号之外,还包括心脏跳动所产生的心音信号,第二声音信号中包括外界环境所产生的声音信号;则目标降噪信号中可以包括清晰的心脏跳动所产生的心音信号,进而可以根据目标降噪信号确定用户的心跳频率;由于目标降噪信号中包括的为清晰的心音信号,有利于提高生成的心跳频率的准确率。
在图1c至图10所对应的实施例的基础上,为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关设备。具体参阅图11,图11为本申请实施例提供的声音信号的处理装置的一种结构示意图,耳机包括第一耳筒和第二耳筒,第一耳筒配置有第一麦克风和第二麦克风,第一麦克风位于第一耳筒的第一侧,第二麦克风位于第一耳筒的第二侧,第二耳筒配置有第三麦克风和第四麦克风,第三麦克风位于第二耳筒的第一侧,第四麦克风位于第二耳筒的第二侧,第一侧存在耳筒的音频输出口,第二侧与第一侧不同。声音信号的处理装置1100包括:获取模块1101,用于在检测到耳机被佩戴的情况下,获取第一声音信号、第二声音信号、第三声音信号和第四声音信号,其中,第一声音信号为通过第一麦克风得到,第二声音信号为通过第二麦克风得到,第三声音信号为通过第三麦克风得到,第四声音信号为通过第四麦克风得到;降噪模块1102,用于根据第二声音信号对第一声音信号进行降噪处理,得到第一降噪信号;降噪模块1102,还用于根据第四声音信号对第三声音信号进行降噪处理,得到第二降噪信号;确定模块1103,用于根据第一降噪信号和第二降噪信号,确定检测结果,其中,检测结果用于指示第一耳筒佩戴于左耳或者右耳,和/或,检测结果用于指示第二耳筒佩戴于左耳或右耳。
在一种可能的设计中,确定模块1103,具体用于:获取与第一降噪信号中至少一个波峰对应的第一出现时间,并获取与第二降噪信号中至少一个波峰对应的第二出现时间;根据第一出现时间和第二出现时间,确定检测结果。
在一种可能的设计中,确定模块1103,具体用于:在第一顺序和第二顺序一致的情况下,根据第一出现时间和第二出现时间,确定检测结果;其中,第一顺序代表第一降噪信号中第一波峰和第一降噪信号中第二波峰的出现顺序,第二顺序代表第二降噪信号中第一波峰和第二降噪信号中第二波峰的出现顺序,第一波峰的高度大于或等于第一高度阈值,第二波峰的高度大于或等于第二高度阈值且小于第一高度阈值。
在一种可能的设计中,第一声音信号、第二声音信号、第三声音信号和第四声音信号为在目标时间段内采集到的,目标时间段的取值范围为大于或等于1个心跳周期的长度,且小于或等于2个心跳周期的长度。
在一种可能的设计中,确定模块1103,还用于根据第一声音信号和第二声音信号,确定与第一耳筒对应的第一佩戴信息,第一佩戴信息指示第一耳筒的佩戴松紧状态;和/或,确定模块1103,还用于根据第三声音信号和第四声音信号,确定与第二耳筒对应的第二佩戴信息,第二佩戴信息指示第二耳筒的佩戴松紧状态。
需要说明的是,声音信号的处理装置1100中各模块/单元之间的信息交互、执行过程等内容,与本申请中图1c至图9对应的各个方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例还提供了一种声音信号的处理装置,请参阅图12,图12为本申请实施例提供的声音信号的处理装置的一种结构示意图,耳机包括耳筒,耳筒配置有第一麦克风和第二麦克风,第一麦克风和耳筒的音频输出口位于耳筒的同一侧,第二麦克风与第一麦克风位于耳筒的不同的两侧。声音信号的处理装置1200包括:获取模块1201,用于在耳机被佩戴的情况下,获取第一声音信号和第二声音信号,其中,第一声音信号通过第一麦克风得到,第二声音信号通过第二麦克风得到;降噪模块1202,用于根据第二声音信号对第一声音信号进行降噪处理,得到目标降噪信号;确定模块1203,用于根据目标降噪信号,确定用户的心跳频率。
在一种可能的设计中,目标降噪信号中至少一个波峰包括第一波峰和第二波峰,第一波峰的高度大于或等于第一高度阈值,第二波峰的高度大于或等于第二高度阈值且小于第一高度阈值;获取模块1201,还用于获取目标降噪信号在第一波峰处的第一高度;获取模块1201,还用于获取目标降噪信号在第二波峰处的第二高度;确定模块1203,还用于根据第一高度和第二高度,确定心脏状态信息,心脏状态信息包括用户心房的跳动强度信息和心室的跳动强度信息。
在一种可能的设计中,用户的心跳频率用于指示用户的心脏状态信息和/或用户的入眠状态。
需要说明的是,声音信号的处理装置1200中各模块/单元之间的信息交互、执行过程等内容,与本申请中图10对应的各个方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
接下来介绍本申请实施例提供的一种执行设备,请参阅图13,图13为本申请实施例提供的执行设备的一种结构示意图,执行设备1300具体可以表现为耳机、虚拟现实VR设备、手机、平板、笔记本电脑、手表、眼镜等,此处不做限定。其中,执行设备1300上可以部署有图10对应实施例中所描述的声音信号的处理装置1000,用于实现图9对应实施例中执行设备的功能。具体的,执行设备1300包括:接收器1301、发射器1302、处理器1303和存储器1304(其中执行设备1300中的处理器1303的数量可以一个或多个,图13中以一个处理器为例),其中,处理器1303可以包括应用处理器13031和通信处理器13032。在本申请的一些实施例中,接收器1301、发射器1302、处理器1303和存储器1304可通过总线或其它方式连接。
存储器1304可以包括只读存储器和随机存取存储器,并向处理器1303提供指令和数据。存储器1304的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory,NVRAM)。存储器1304存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。
处理器1303控制执行设备的操作。具体的应用中,执行设备的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1303中,或者由处理器1303实现。处理器1303可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1303可以是通用处理器、数字信号处理器(digital signal processing,DSP)、微处理器或微控制器,还可进一步包括专用集成电路(application specific integratedcircuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1303可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1304,处理器1303读取存储器1304中的信息,结合其硬件完成上述方法的步骤。
接收器1301可用于接收输入的数字或字符信息,以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1302可用于通过第一接口输出数字或字符信息;发射器1302还可用于通过第一接口向磁盘组发送指令,以修改磁盘组中的数据;发射器1302还可以包括显示屏等显示设备。
本申请实施例中,在一种情况下,处理器1303中的应用处理器13031,用于执行图1c至图9对应实施例中的执行设备执行的声音信号的处理方法。需要说明的是,应用处理器13031执行前述各个步骤的具体方式,与本申请中图1c至图9对应的各个方法实施例基于同一构思,其带来的技术效果与本申请中图1c至图9对应的各个方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
在一种情况下,处理器1303中的应用处理器13031,用于执行图10对应实施例中的执行设备执行的声音信号的处理方法。需要说明的是,应用处理器13031执行前述各个步骤的具体方式,与本申请中图10对应的各个方法实施例基于同一构思,其带来的技术效果与本申请中图10对应的各个方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例中还提供一种包括计算机程序产品,计算机程序产品包括程序代码,当程序代码在计算机上运行时,使得计算机执行如前述图1c至图9所示实施例描述的方法中执行设备所执行的步骤,或者,使得计算机执行如前述图10所示实施例描述的方法中执行设备所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有程序代码,当其在计算机上运行时,使得计算机执行如前述图1c至图9所示实施例描述的方法中执行设备所执行的步骤,或者,使得计算机执行如前述图10所示实施例描述的方法中执行设备所执行的步骤。
本申请实施例提供的声音信号的处理装置以及执行设备具体可以为芯片,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使芯片执行上述图1c至图9所示实施例描述的声音信号的处理方法,或者,以使芯片执行上述图10所示实施例描述的声音信号的处理方法。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
其中,上述任一处提到的处理器,可以是一个通用中央处理器,微处理器,ASIC,或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。

Claims (19)

1.一种声音信号的处理方法,其特征在于,耳机包括第一耳筒和第二耳筒,所述第一耳筒配置有第一麦克风和第二麦克风,所述第一麦克风位于所述第一耳筒的第一侧,所述第二麦克风位于所述第一耳筒的第二侧,所述第二耳筒配置有第三麦克风和第四麦克风,所述第三麦克风位于所述第二耳筒的第一侧,所述第四麦克风位于所述第二耳筒的第二侧,所述第一侧和所述第二侧不同,所述第一侧存在耳筒的音频输出口;
所述方法包括:
在检测到所述耳机被佩戴的情况下,获取第一声音信号、第二声音信号、第三声音信号和第四声音信号,其中,所述第一声音信号为通过所述第一麦克风得到,所述第二声音信号为通过所述第二麦克风得到,所述第三声音信号为通过所述第三麦克风得到,所述第四声音信号为通过所述第四麦克风得到;
根据所述第二声音信号对所述第一声音信号进行降噪处理,得到第一降噪信号;
根据所述第四声音信号对所述第三声音信号进行降噪处理,得到第二降噪信号;
根据所述第一降噪信号和所述第二降噪信号,确定检测结果,其中,所述检测结果用于指示所述第一耳筒佩戴于左耳或者右耳,和/或,所述检测结果用于指示所述第二耳筒佩戴于左耳或右耳。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一降噪信号和所述第二降噪信号,确定检测结果,包括:
获取与所述第一降噪信号中至少一个波峰对应的第一出现时间,并获取与所述第二降噪信号中至少一个波峰对应的第二出现时间;
根据所述第一出现时间和所述第二出现时间,确定所述检测结果。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一出现时间和所述第二出现时间,确定所述检测结果,包括:
在第一顺序和第二顺序一致的情况下,根据所述第一出现时间和所述第二出现时间,确定所述检测结果;
其中,所述第一顺序代表所述第一降噪信号中第一波峰和所述第一降噪信号中第二波峰的出现顺序,所述第二顺序代表所述第二降噪信号中第一波峰和所述第二降噪信号中第二波峰的出现顺序,所述第一波峰的高度大于或等于第一高度阈值,所述第二波峰的高度大于或等于第二高度阈值且小于所述第一高度阈值。
4.据权利要求1至3任一项所述的方法,其特征在于,所述第一声音信号、所述第二声音信号、所述第三声音信号和所述第四声音信号为在目标时间段内采集到的,所述目标时间段的取值范围为大于或等于1个心跳周期的长度,且小于或等于2个心跳周期的长度。
5.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
根据所述第一声音信号和所述第二声音信号,确定与所述第一耳筒对应的第一佩戴信息,所述第一佩戴信息指示所述第一耳筒的佩戴松紧状态;和/或,
根据所述第三声音信号和所述第四声音信号,确定与所述第二耳筒对应的第二佩戴信息,所述第二佩戴信息指示所述第二耳筒的佩戴松紧状态。
6.一种声音信号的处理方法,其特征在于,耳机包括耳筒,所述耳筒配置有第一麦克风和第二麦克风,所述第一麦克风和所述耳筒的音频输出口位于所述耳筒的同一侧,所述第二麦克风与所述第一麦克风位于所述耳筒的不同的两侧,所述方法包括:
在所述耳机被佩戴的情况下,获取第一声音信号和第二声音信号,其中,所述第一声音信号通过所述第一麦克风得到,所述第二声音信号通过所述第二麦克风得到;
根据所述第二声音信号对所述第一声音信号进行降噪处理,得到目标降噪信号;
根据所述目标降噪信号,确定用户的心跳频率。
7.根据权利要求6所述的方法,其特征在于,所述目标降噪信号中至少一个波峰包括第一波峰和第二波峰,所述第一波峰的高度大于或等于第一高度阈值,所述第二波峰的高度大于或等于第二高度阈值且小于所述第一高度阈值,所述方法还包括:
获取所述目标降噪信号在所述第一波峰处的第一高度;
获取所述目标降噪信号在所述第二波峰处的第二高度;
根据所述第一高度和所述第二高度,确定心脏状态信息,所述心脏状态信息包括用户心房的跳动强度信息和心室的跳动强度信息。
8.根据权利要求6或7所述的方法,其特征在于,所述用户的心跳频率用于指示用户的心脏状态信息和/或用户的入眠状态。
9.一种声音信号的处理装置,其特征在于,耳机包括第一耳筒和第二耳筒,所述第一耳筒配置有第一麦克风和第二麦克风,所述第一麦克风位于所述第一耳筒的第一侧,所述第二麦克风位于所述第一耳筒的第二侧,所述第二耳筒配置有第三麦克风和第四麦克风,所述第三麦克风位于所述第二耳筒的第一侧,所述第四麦克风位于所述第二耳筒的第二侧,所述第一侧和所述第二侧不同,所述第一侧存在耳筒的音频输出口;
所述声音信号的处理装置包括:
获取模块,用于在检测到所述耳机被佩戴的情况下,获取第一声音信号、第二声音信号、第三声音信号和第四声音信号,其中,所述第一声音信号为通过所述第一麦克风得到,所述第二声音信号为通过所述第二麦克风得到,所述第三声音信号为通过所述第三麦克风得到,所述第四声音信号为通过所述第四麦克风得到;
降噪模块,用于根据所述第二声音信号对所述第一声音信号进行降噪处理,得到第一降噪信号;
所述降噪模块,还用于根据所述第四声音信号对所述第三声音信号进行降噪处理,得到第二降噪信号;
确定模块,用于根据所述第一降噪信号和所述第二降噪信号,确定检测结果,其中,所述检测结果用于指示所述第一耳筒佩戴于左耳或者右耳,和/或,所述检测结果用于指示所述第二耳筒佩戴于左耳或右耳。
10.根据权利要求9所述的装置,其特征在于,所述确定模块,具体用于:
获取与所述第一降噪信号中至少一个波峰对应的第一出现时间,并获取与所述第二降噪信号中至少一个波峰对应的第二出现时间;
根据所述第一出现时间和所述第二出现时间,确定所述检测结果。
11.根据权利要求10所述的装置,其特征在于,所述确定模块,具体用于:
在第一顺序和第二顺序一致的情况下,根据所述第一出现时间和所述第二出现时间,确定所述检测结果;
其中,所述第一顺序代表所述第一降噪信号中第一波峰和所述第一降噪信号中第二波峰的出现顺序,所述第二顺序代表所述第二降噪信号中第一波峰和所述第二降噪信号中第二波峰的出现顺序,所述第一波峰的高度大于或等于第一高度阈值,所述第二波峰的高度大于或等于第二高度阈值且小于所述第一高度阈值。
12.据权利要求9至11任一项所述的装置,其特征在于,所述第一声音信号、所述第二声音信号、所述第三声音信号和所述第四声音信号为在目标时间段内采集到的,所述目标时间段的取值范围为大于或等于1个心跳周期的长度,且小于或等于2个心跳周期的长度。
13.根据权利要求9至11任一项所述的装置,其特征在于,
所述确定模块,还用于根据所述第一声音信号和所述第二声音信号,确定与所述第一耳筒对应的第一佩戴信息,所述第一佩戴信息指示所述第一耳筒的佩戴松紧状态;和/或,
所述确定模块,还用于根据所述第三声音信号和所述第四声音信号,确定与所述第二耳筒对应的第二佩戴信息,所述第二佩戴信息指示所述第二耳筒的佩戴松紧状态。
14.一种声音信号的处理装置,其特征在于,耳机包括耳筒,所述耳筒配置有第一麦克风和第二麦克风,所述第一麦克风和所述耳筒的音频输出口位于所述耳筒的同一侧,所述第二麦克风与所述第一麦克风位于所述耳筒的不同的两侧,所述声音信号的处理装置包括:
获取模块,用于在所述耳机被佩戴的情况下,获取第一声音信号和第二声音信号,其中,所述第一声音信号通过所述第一麦克风得到,所述第二声音信号通过所述第二麦克风得到;
降噪模块,用于根据所述第二声音信号对所述第一声音信号进行降噪处理,得到目标降噪信号;
确定模块,用于根据所述目标降噪信号,确定用户的心跳频率。
15.根据权利要求14所述的装置,其特征在于,所述目标降噪信号中至少一个波峰包括第一波峰和第二波峰,所述第一波峰的高度大于或等于第一高度阈值,所述第二波峰的高度大于或等于第二高度阈值且小于所述第一高度阈值;
所述获取模块,还用于获取所述目标降噪信号在所述第一波峰处的第一高度;
所述获取模块,还用于获取所述目标降噪信号在所述第二波峰处的第二高度;
所述确定模块,还用于根据所述第一高度和所述第二高度,确定心脏状态信息,所述心脏状态信息包括用户心房的跳动强度信息和心室的跳动强度信息。
16.根据权利要求14或15所述的装置,其特征在于,所述用户的心跳频率用于指示用户的心脏状态信息和/或用户的入眠状态。
17.一种计算机程序产品,其特征在于,所述计算机程序产品包括程序代码,当所述程序代码在计算机上运行时,使得计算机执行如权利要求1至8中任意一项所述的方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,当所述程序代码在计算机上运行时,使得计算机执行如权利要求1至8中任一项所述的方法。
19.一种执行设备,其特征在于,包括处理器和存储器,所述处理器与所述存储器耦合,
所述存储器,用于存储程序;
所述处理器,用于执行所述存储器中的程序,使得所述执行设备执行如权利要求1至5中任一项所述的方法,或者,使得所述执行设备执行如权利要求6至8中任意一项所述的方法。
CN202111447775.XA 2021-11-30 2021-11-30 一种声音信号的方法以及相关设备 Pending CN116208880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111447775.XA CN116208880A (zh) 2021-11-30 2021-11-30 一种声音信号的方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111447775.XA CN116208880A (zh) 2021-11-30 2021-11-30 一种声音信号的方法以及相关设备

Publications (1)

Publication Number Publication Date
CN116208880A true CN116208880A (zh) 2023-06-02

Family

ID=86515178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111447775.XA Pending CN116208880A (zh) 2021-11-30 2021-11-30 一种声音信号的方法以及相关设备

Country Status (1)

Country Link
CN (1) CN116208880A (zh)

Similar Documents

Publication Publication Date Title
US11665488B2 (en) Auditory device assembly
JP5513401B2 (ja) 聴覚心臓モニタ装置及び方法
CN111328009B (zh) 用于可听设备的声学入耳检测方法以及可听设备
RU2606171C2 (ru) Оценка изолирующих качеств обтуратора для ушного канала
US20160302012A1 (en) Hearing Assistance Systems Configured To Detect And Provide Protection To The User From Harmful Conditions
US11223915B2 (en) Detecting user's eye movement using sensors in hearing instruments
CN114762360A (zh) 入耳检测
KR20110107833A (ko) 이어피스를 위한 음향의 인­이어 검출
US20160261962A1 (en) Method, device and system for increasing a person's ability to suppress non-wanted auditory percepts
US11523231B2 (en) Methods and systems for assessing insertion position of hearing instrument
CN108696813A (zh) 用于运行听力设备的方法和听力设备
WO2021255415A1 (en) Wear detection
US10021494B2 (en) Hearing device with vibration sensitive transducer
CN113613157B (zh) 耳机及其佩戴状态检测方法、装置及存储介质
CN115334969A (zh) 带无线耳塞的心脏监测系统
EP3139638A1 (en) Hearing aid for indicating a pathological condition
US20180124525A1 (en) Method and system for recognizing a beat with a hearing aid
CN116208880A (zh) 一种声音信号的方法以及相关设备
CN114095835A (zh) 耳机通透模式的控制方法、装置、耳机设备及存储介质
WO2022042862A1 (en) Earphone device and method for earphone device
CN207518800U (zh) 脖戴式语音交互耳机
RU224969U1 (ru) Устройство измерения экг, звуков сердца и легких с беспроводными наушниками
WO2023240510A1 (zh) 呼吸监测方法、装置、耳机及存储介质
US11082782B2 (en) Systems and methods for determining object proximity to a hearing system
CN117617932A (zh) 心率检测方法、装置、音频设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination