CN113440127B - 呼吸数据的采集方法、装置和电子设备 - Google Patents

呼吸数据的采集方法、装置和电子设备 Download PDF

Info

Publication number
CN113440127B
CN113440127B CN202010219903.4A CN202010219903A CN113440127B CN 113440127 B CN113440127 B CN 113440127B CN 202010219903 A CN202010219903 A CN 202010219903A CN 113440127 B CN113440127 B CN 113440127B
Authority
CN
China
Prior art keywords
audio data
respiratory
path
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010219903.4A
Other languages
English (en)
Other versions
CN113440127A (zh
Inventor
崔荣涛
李旭
朱萸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010219903.4A priority Critical patent/CN113440127B/zh
Publication of CN113440127A publication Critical patent/CN113440127A/zh
Application granted granted Critical
Publication of CN113440127B publication Critical patent/CN113440127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请实施例提供一种呼吸数据的采集方法、装置和电子设备。方法包括:获取第一麦克风阵列采集的多路左侧音频数据,以及,获取第二麦克风阵列采集的多路右侧音频数据;执行环境噪声消除操作,生成用于进行呼吸状态分析的单路呼吸音频数据,所述环境噪声消除操作包括:频域滤波、空域滤波以及左右耳噪声抵消。根据本申请实施例的方法,可以在不增添运动者装备负担的前提下,获取可以准确体现运动者呼吸状态的呼吸数据。

Description

呼吸数据的采集方法、装置和电子设备
技术领域
本申请涉及智能终端技术领域,特别涉及一种呼吸数据的采集方法、装置和电子设备。
背景技术
伴随着计算机技术在运动领域的不断深入应用,在现有技术的应用场景中,会采集人体运动过程中的各项量化参数,综合分析后给予运动者科学正确的运动指导。
在运动中,呼吸不仅是身体的基本需求,更是一项非常重要的运动技巧,正确的呼吸方法可以给健身者良好的锻炼节奏,增强训练效果。在运动的过程中如果不重视呼吸的重要性,可能会出现不良反应,比如头晕,缺氧等。比如在长跑过程中,恰当的呼吸节奏有利于调整心跳、动作、频率等,同时也能保证运动过程中氧气在生理需求上的供给。在无氧运动如深蹲中,可以通过调节呼吸节奏可以帮助身体更好的发力。因此,在采集人体运动过程中的各项量化参数的过程中,呼吸数据是其中一种极为重要的参数。
在现有技术的应用场景中,呼吸数据的采集方案包括呼吸面罩、胸贴、脉冲雷达等方案,这些方案的实现都需要人体额外佩戴一个测量设备,都存在着运动中佩戴不便的问题。而对于比较常见的便携设备(例如,智能腕带、智能手表、无线蓝牙耳机)而言,其往往并不具备采集呼吸数据的功能。
发明内容
本申请提供了一种呼吸数据的采集方法、装置和电子设备,本申请还提供一种计算机可读存储介质,以提供一种采集呼吸数据的方式,在不增添运动者装备负担的前提下,获取可以准确体现运动者呼吸状态的呼吸数据。
本申请实施例采用下述技术方案:
第一方面,本申请一实施例提供了一种呼吸数据的采集方法,方法由电子设备执行,包括:
获取第一麦克风阵列采集的多路左侧音频数据,以及,获取第二麦克风阵列采集的多路右侧音频数据,其中,第一麦克风阵列配置在左耳耳机中,第二麦克风阵列配置在右耳耳机中;
执行环境噪声消除操作,生成用于进行呼吸状态分析的单路呼吸音频数据,环境噪声消除操作包括:
频域滤波,根据人体呼吸率的频域范围确定第一频域范围,滤除第一频域范围之外的噪声干扰;
空域滤波,基于人体呼吸声发声部位的方位进行麦克风阵列的定向响应,将多路左侧音频数据以及多路右侧音频数据分别合成为单路左侧音频数据以及单路右侧音频数据;
左右耳噪声抵消,判定单路左侧音频数据以及单路右侧音频数据中共存的环境噪声并过滤环境噪声,将噪声过滤后两路音频数据合成为单路呼吸音频数据。
完成环境噪声消除后,采集到的单路呼吸音频数据中包含纯净的呼吸音频信息,呼吸音频信息可以准确地体现用户的呼吸状态。进而就可以根据单路呼吸音频数据进行呼吸状态的分析计算。根据本申请一实施例的方法,将基于音频采集获取到的呼吸音频数据作为用来做呼吸状态分析的呼吸数据,避免了呼吸状态分析中由人体运动状态变化而导致的分析结果错误;相较于现有技术,本申请一实施例的方法,操作流程简单,不需要给运动者增添额外装备负担,具有很高的实用性;进一步的,在本申请一实施例的呼吸数据的采集方法中,在进行音频采集时综合频域滤波、空域滤波以及左右耳噪声抵消来实现呼吸音频数据的环境噪声消除,有效确保了呼吸音频数据中呼吸音频信息的纯净度,从而大大提高了后续呼吸状态分析的准确度。
进一步的,在上述第一方面的环境噪声消除操作的实现过程中,对具体执行频域滤波操作的时间节点不做严格限制。操作人员可以根据具体实际应用情况设定在哪一个环节进行频域滤波。
例如,在环境噪声消除操作的一种可行的实现方式中,在执行空域滤波之前,对多路左侧音频数据以及多路右侧音频数据执行频域滤波,从而有效减少后续空域滤波以及左右耳噪声抵消的运算数据量;
又例如,在环境噪声消除操作的一种可行的实现方式中,在执行左右耳噪声抵消之前,对单路左侧音频数据以及单路右侧音频数据执行频域滤波,从而使得不需要对默认的麦克风阵列处理流程进行修改调整;
又例如,在环境噪声消除操作的一种可行的实现方式中,在执行左右耳噪声抵消之后,对单路呼吸音频数据执行频域滤波,从而使得在执行空域滤波以及左右耳噪声抵消之后,对左右耳噪声抵消之后生成的单路呼吸音频数据还可以执行频域滤波以外的其他操作。
进一步的,在上述第一方面的环境噪声消除操作的实现过程中,空域滤波的一种可行的实现方式包括:
根据人体左右耳到人体呼吸声发声部位的方向分别确定第一麦克风阵列的第一响应方向以及第二麦克风阵列的第二响应方向;
基于第一响应方向将多路左侧音频数据合成为单路左侧音频数据,其中,增强第一响应方向的声音响应,抑制其他方向的声音干扰;
基于第二响应方向将多路右侧音频数据合成为单路右侧音频数据,其中,增强第二响应方向的声音响应,抑制其他方向的声音干扰。
在空域滤波的上述实现方式中,基于麦克风阵列的定向响应实现针对人体呼吸声发声部位(嘴巴,声带部位)的定向拾音,可以有效消除拾音波束区域(人体呼吸声发声部位方向区域)以外的其他区域的环境噪声,大大提高呼吸音频数据的纯净性。
进一步的,在上述第一方面的环境噪声消除操作的实现过程中,左右耳噪声抵消的一种可行的实现方式包括:
对单路左侧音频数据以及单路右侧音频数据进行相关系分析;
对相关性超出第一预设阈值的两路音频信号进行相位差计算;
判定相位差大于第二预设阈值的两路音频信号为环境噪声信号;
过滤单路左侧音频数据以及单路右侧音频数据中的环境噪声信号,叠加过滤结果以生成用于进行呼吸状态分析的单路呼吸音频数据。
在上述左右耳噪声抵消的实现方式中,基于左右耳位置对同一侧环境噪声采集结果存在相位差的特点,进行环境噪声的判定以及消除,从而实现左右耳噪声抵消,可以有效消除产生于单侧的环境噪声,大大提高呼吸音频数据的纯净性。
进一步的,在上述第一方面的一种可行的实现方式中,在获取第一麦克风阵列采集的多路左侧音频数据,以及,获取第二麦克风阵列采集的多路右侧音频数据之前,还执行以下步骤:
确认第一预设状态;
监控左耳耳机以及右耳耳机的佩戴者的运动状态;
当佩戴者的运动状态为第一预设状态时开启针对单路呼吸音频数据的采集。
进一步的,在上述第一方面的一种可行的实现方式中,在生成用于进行呼吸状态分析的单路呼吸音频数据之后,还执行以下步骤:
解析单路呼吸音频数据,获取呼吸率和/或呼吸节奏。
第二方面,本申请一实施例提供了一种运动指导方法,包括:
获取当前用户的单路呼吸音频数据,该单路呼吸音频数据为基于上述第一方面的方法对呼吸声进行音频采集而获取到的数据;
获取当前用户的运动特征,运动特征包括运动模式和/或运动参数;
获取匹配运动特征的标准呼吸参数;
将标准呼吸参数与呼吸数据做对比,根据对比结果生成包含呼吸指导建议的运动指导建议。
第三方面,本申请一实施例提供了一种呼吸数据的采集装置,包括:
数据获取模块,其用于获取多路左侧音频数据以及多路右侧音频数据,其中,多路左侧音频数据由配置在左耳耳机中的第一麦克风阵列采集,多路右侧音频数据由配置在右耳耳机中的第二麦克风阵列采集;
环境噪声消除模块,其用于执行环境噪声消除操作,生成用于进行呼吸状态分析的单路呼吸音频数据,环境噪声消除模块包括:
频域滤波子模块,其用于根据人体呼吸率的频域范围确定第一频域范围,滤除第一频域范围之外的噪声干扰;
空域滤波子模块,其用于基于人体呼吸声发声部位的方位进行麦克风阵列的定向响应,将多路左侧音频数据以及多路右侧音频数据分别合成为单路左侧音频数据以及单路右侧音频数据;
左右耳噪声抵消子模块,其用于判定单路左侧音频数据以及单路右侧音频数据中共存的环境噪声并过滤环境噪声,将噪声过滤后两路音频数据合成为单路呼吸音频数据。
进一步的,在基于上述第三方面的一种可行的装置结构中,频域滤波子模块用于:对多路左侧音频数据以及多路右侧音频数据执行频域滤波,将滤波结果输出到空域滤波子模块。
进一步的,在基于上述第三方面的一种可行的装置结构中,频域滤波子模块用于:对空域滤波子模块输出的单路左侧音频数据以及单路右侧音频数据进行频域滤波,将滤波结果输出到左右耳噪声抵消子模块。
进一步的,在基于上述第三方面的一种可行的装置结构中,频域滤波子模块用于:对左右耳噪声抵消子模块输出的单路呼吸音频数据进行频域滤波。
进一步的,在基于上述第三方面的一种可行的装置结构中,空域滤波子模块包括:
响应方向确定器,其用于根据人体左右耳到人体呼吸声发声部位的方向分别确定第一麦克风阵列的第一响应方向以及第二麦克风阵列的第二响应方向;
第一合成器,其用于基于第一响应方向将多路左侧音频数据合成为单路左侧音频数据,其中,增强第一响应方向的声音响应,抑制其他方向的声音干扰;
第二合成器,其用于基于第二响应方向将多路右侧音频数据合成为单路右侧音频数据,其中,增强第二响应方向的声音响应,抑制其他方向的声音干扰。
进一步的,在基于上述第三方面的一种可行的装置结构中,左右耳噪声抵消子模块包括:
相关性分析器,其用于对单路左侧音频数据以及单路右侧音频数据进行相关系分析;
相位差计算器,其用于对相关性超出第一预设阈值的两路音频信号进行相位差计算;
噪声判定器,其用于判定相位差大于第二预设阈值的两路音频信号为环境噪声信号;
过滤合成器,其用于过滤单路左侧音频数据以及单路右侧音频数据中的环境噪声信号,叠加过滤结果以生成用于进行呼吸状态分析的单路呼吸音频数据。
进一步的,在基于上述第三方面的一种可行的装置结构中,装置还包括:
预设状态确认模块,其用于确定第一预设状态;
运动状态监控模块,其用于监控左耳耳机以及右耳耳机的佩戴者的运动状态;
呼吸数据采集发起模块,其用于当佩戴者的运动状态为第一预设状态时开启针对单路呼吸音频数据的采集。
进一步的,在基于上述第三方面的一种可行的装置结构中,装置还包括:
呼吸数据提取模块,其用于解析单路呼吸音频数据,获取呼吸率和/或呼吸节奏。
第四方面,本申请一实施例提供一种运动指导装置,包括:
呼吸数据获取模块,其用于获取当前用户的单路呼吸音频数据,该单路呼吸音频数据为基于上述第一方面的方法对呼吸声进行音频采集而获取到的数据;
运动特征获取模块,其用于获取当前用户的运动特征,运动特征包括运动模式和/或运动参数;
标准参数提取模块,其用于获取匹配运动特征的标准呼吸参数;
运动指导模块,其用于将标准呼吸参数与呼吸数据做对比,根据对比结果生成包含呼吸指导建议的运动指导建议。
第四方面,本申请一实施例提供一种真无线立体声耳机,耳机包括左耳耳机以及右耳耳机,其中:
左耳耳机包括第一麦克风阵列,其用于采集多路左侧音频数据;
右耳耳机包括第二麦克风阵列,其用于采集多路右侧音频数据;
耳机包括如上述第三方面所述的呼吸数据的采集装置,其中:
采集装置的数据获取模块包含两个数据获取子模块,所述两个数据获取子模块被分别配置在所述左耳耳机以及所述右耳耳机中;
采集装置的频域滤波子模块被配置在左耳耳机和/或右耳耳机中;例如,频域滤波子模块被配置在左耳耳机或右耳耳机中;又例如,频域滤波子模块包含两个滤波模块,频域滤波子模块的两个滤波模块被分别配置在左耳耳机以及右耳耳机中;
采集装置的空域滤波子模块被配置在左耳耳机和右耳耳机中;例如,空域滤波子模块包含两个滤波模块,空域滤波子模块的两个滤波模块被分别配置在左耳耳机以及右耳耳机中;
采集装置的左右耳噪声抵消子模块被配置在左耳耳机或右耳耳机中。
第四方面,本申请一实施例提供一种真无线立体声耳机,真无线立体声耳机包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发真无线立体声耳机执行如上述第一方面所述的方法步骤。
第四方面,本申请一实施例提供一种电子设备,电子设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发电子设备执行上述第二方面所述的方法步骤。
第五方面,本申请一实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请实施例的方法。
第五方面,本申请一实施例提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行本申请实施例的方法。
附图说明
图1所示为根据本申请呼吸数据的采集方法一实施例的流程图;
图2所示为根据本申请呼吸数据的采集方法一实施例的麦克风阵列响应方向示意图;
图3所示为根据本申请呼吸数据的采集方法一实施例的麦克风阵列定向响应示意图;
图4所示为根据本申请运动指导方法一实施例的流程图;
图5所示为根据本申请运动指导方法一实施例的流程图;
图6所示为根据本申请运动指导方法一实施例的流程图;
图7所示为根据本申请呼吸数据的采集装置一实施例的结构图;
图8所示为根据本申请呼吸数据的采集装置一实施例的结构图;
图9所示为根据本申请运动指导装置一实施例的结构图;
图10所示为根据本申请耳机一实施例的结构图;
图11所示为根据本申请耳机一实施例的结构图;
图12所示为根据本申请耳机一实施例的结构图;
图13所示为根据本申请耳机一实施例的右耳耳机或左耳耳机的结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
为了在不增添运动者装备负担的前提下,获取可以准确体现运动者呼吸状态的呼吸数据,本申请一实施例提出了一种呼吸数据的采集方法。为了提出本申请实施例的方法,发明人首先分析实际应用场景。呼吸数据的采集方案包括呼吸面罩、胸贴、脉冲雷达等方案,这些方案的实现都需要人体额外佩戴一个测量设备,都存在着运动中佩戴不便的问题。为了解决呼吸数据采集设备携带不便的问题,可行的方案之一包括利用人体已习惯佩戴的设备实现呼吸数据的采集。
在实际应用场景中,耳机是一种非常常见的随身设备,对于大多数运动者而言,在运动中佩戴耳机并不会有不适的感觉。因此在本说明书一实施例中,基于耳机来实现对呼吸数据的采集。
进一步的,基于耳机实现呼吸数据的采集,一种可行的方案是利用光电容积描记(photoplethysmograph,PPG)技术采集PPG信号,通过PPG信号的包络线计算呼吸率。然而,PPG信号主要体现的是血管变化,在人体运动时,呼吸状态的变化并不能完全反映到PPG信号的变化上,同时,PPG信号的变化也并不是全部都反映了呼吸状态的变化,这就导致在人体运动状态下,由PPG信号计算出的呼吸率并不准确。
进一步的,在实际应用场景中,人体呼吸会导致呼吸声,呼吸状态的变化会直接导致呼吸声的变化,呼吸声可以完全反映人体呼吸状态。相对于PPG信号的采集,声音数据的采集设备具有体积小、成本低、技术成熟等优势。因此,基于上述分析,在本申请一实施例的呼吸数据的采集方法中,不采用通过PPG信号计算呼吸率的方案。而是采集呼吸声,将呼吸声作为分析人体呼吸状态的源数据。
进一步的,在实际应用场景中,声音数据的采集并不具备排他性,即,在采集目标声音时,无法绝对保证不采集到环境噪声。因此,在本申请一实施例的呼吸数据的采集方法中,在获取作为呼吸数据的呼吸音频数据时,需要对采集到的音频数据进行环境噪声消除,尽可能过滤掉呼吸声以外的其他声音。这样,在对呼吸音频数据进行呼吸状态分析时,才能有效避免其他声音的干扰,获取准确的呼吸状态数据。
具体的,在实际场景中,人体呼吸率有一定频域范围,例如正常成人每分钟呼吸16~20次。如果某个声音的频率在人体呼吸率的范围之外,那么该声音有极大概率不是呼吸声。因此,基于上述分析,在本申请一实施例中,对采集到的声音数据进行频域滤波,根据人体呼吸率的频域范围确定第一频域范围(人体呼吸频率范围),滤除第一频域范围之外的噪声干扰。
具体的,在本申请一实施例的呼吸数据的采集方法中,设计一个带通滤波器,其通带频率为fL-fH,其中fL为人体呼吸率的最小频率,fH为人体呼吸率的最大频率,利用此滤波器可以首先滤除频带外的噪声干扰。
进一步的,由于耳机的佩戴位置(耳朵)是固定的,并且,针对同一形状的耳机,其佩戴姿势通常也是固定的,因此,其朝向人体呼吸声发声部位(嘴巴,声带部位)的方向是固定的。那么,如果采用定向声音采集的方案,只采集人体呼吸声发声部位方向的声音,就可以过滤很大一部分非呼吸声的环境噪声。麦克风阵列为多个麦克风按照特定位置配置成的阵列,麦克风阵列的重要特性之一是可以形成定向响应。在本申请一实施例的呼吸数据的采集方法中,采用基于麦克风阵列的定向响应方案,对声音数据进行空域滤波,基于人体呼吸声发声部位的方位进行麦克风阵列的定向响应,将麦克风阵列采集的多路音频数据合成为单路音频数据。
进一步的,对于双耳耳机而言,当两耳的拾音方向均指向人体发声部位进行呼吸声采集时,可以认为采集的呼吸声是相同的,而由于两耳的拾音方向不同,可以认为两耳采集的环境噪音是不同的;尤其对于人在运动时,从左侧或右侧通过的车辆、行人等产生的噪声,同一声音到达双耳的时间有微小的差别,即造成相位差,而声带部位发出的声音到达双耳基本上可以认为是一致的。例如,假设S1和S2分别为左耳位置和右耳位置采集到的信号,S为其中实际包含的呼吸声音信号,N1和N2分别为左耳位置和右耳位置采集的环境噪声信号,即:
S1=S+N1; (1)
S2=S+N2。 (2)
N1和N2在很多情况下波形具有相似性但体现出相位差。
因此,在本申请一实施例的呼吸数据的采集方法中,对声音数据进行左右耳噪声抵消,判定左侧音频数据以及右侧音频数据中共存的环境噪声并过滤环境噪声,将噪声过滤后两路音频数据合成为单路音频数据。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1所示为根据本申请呼吸数据的采集方法一实施例的流程图。在本申请一实施例的呼吸数据的采集方法中,如图1所示,呼吸数据的采集方法的实现流程包括:
步骤111,获取第一麦克风阵列采集的多路左侧音频数据,其中,第一麦克风阵列配置在左耳耳机中;
步骤112,获取第二麦克风阵列采集的多路右侧音频数据,其中,第二麦克风阵列配置在右耳耳机中;
步骤120,执行环境噪声消除操作,生成用于进行呼吸状态分析的单路呼吸音频数据,环境噪声消除操作包括:
步骤121,频域滤波,根据人体呼吸率的频域范围确定第一频域范围,滤除第一频域范围之外的噪声干扰;
步骤122,空域滤波,基于人体呼吸声发声部位的方位进行麦克风阵列的定向响应,将多路左侧音频数据以及多路右侧音频数据分别合成为单路左侧音频数据以及单路右侧音频数据;
步骤123,左右耳噪声抵消,判定单路左侧音频数据以及单路右侧音频数据中共存的环境噪声并过滤环境噪声,将噪声过滤后两路音频数据合成为单路呼吸音频数据。
完成环境噪声消除后,采集到的单路呼吸音频数据中包含比较纯净的呼吸音频信息,就可以根据单路呼吸音频数据进行呼吸状态的分析计算。
根据图1所示实施例的呼吸数据的采集方法,将基于音频采集获取到的呼吸音频数据作为用来做呼吸状态分析的呼吸数据,避免了呼吸状态分析中由人体运动状态变化而导致的分析结果错误;相较于现有技术,本申请一实施例的方法,操作流程简单,不需要给运动者增添额外装备负担,具有很高的实用性。
进一步的,在图1所示实施例的呼吸数据的采集方法中,在进行音频采集时综合频域滤波、空域滤波以及左右耳噪声抵消来实现呼吸音频数据的环境噪声消除,有效确保了呼吸音频数据中呼吸音频信息的纯净度,从而大大提高了后续呼吸状态分析的准确度。
进一步的,真无线立体声(True Wireless Stereo,TWS)具备双耳耳机(立体声)以及佩戴方便(无线)的特点,并且,TWS耳机的左右耳机间可以实现数据交互,因此,TWS耳机可以实现本申请实施例的呼吸数据的采集方法。在本申请一实施例中,基于真无线立体声耳机实现呼吸数据的采集,即,左耳耳机以及右耳耳机为真无线立体声耳机。
进一步的,在本申请一实施例的呼吸数据的采集方法中,在进行环境噪声消除操作时,对具体执行频域滤波操作的时间节点不做严格限制。操作人员可以根据具体实际应用情况设定在哪一个环节进行频域滤波。例如,在本申请一实施例中:
在执行空域滤波之前,对多路左侧音频数据以及多路右侧音频数据执行频域滤波;
或者,
在执行左右耳噪声抵消之前,对单路左侧音频数据以及单路右侧音频数据执行频域滤波;
或者,
在执行左右耳噪声抵消之后,对单路呼吸音频数据执行频域滤波。
具体的,考虑到频域滤波的运算量较小,但可以有效削减音频数据的数据量。
因此,在本申请一实施例的呼吸数据的采集方法中,在执行空域滤波之前,对多路左侧音频数据以及多路右侧音频数据执行频域滤波,从而有效减少后续空域滤波以及左右耳噪声抵消的运算数据量。
具体的,考虑到在某些麦克风阵列的应用方案中,设定响应方向后麦克风阵列从采集音频数据到对音频数据执行定向响应的操作是预先设置好的,可以直接调用。
因此,在本申请一实施例的呼吸数据的采集方法中,在执行左右耳噪声抵消之前,对麦克风阵列的定向响应结果的单路左侧音频数据以及单路右侧音频数据执行频域滤波。
具体的,考虑到在某些音频采集应用场景中,对采集到的音频数据还有除呼吸状态分析之外的应用(例如,需要进行人声采集以进行语音通话)。空域滤波以及左右耳噪声抵消在本质上都是针对目标音源位置(发声位置,例如嘴部)的过滤,其并没有将音源位置所产生的声音信息进行删减,而执行频域滤波后,会过滤呼吸音频数据中相当一部分声音信息,其相当于将音源位置所产生的声音信息进行删减。
因此,在本申请一实施例的呼吸数据的采集方法中,在执行空域滤波以及左右耳噪声抵消之后,对左右耳噪声抵消之后生成的单路呼吸音频数据执行频域滤波。这样,在执行空域滤波以及左右耳噪声抵消之后,对左右耳噪声抵消之后生成的单路呼吸音频数据还可以执行频域滤波以外的其他操作(例如,直接进行人声提取)。
进一步的,在步骤120的具体实现过程中,步骤121(频域滤波)、步骤122(空域滤波)、步骤123(左右耳噪声抵消)可以分别具备多种不同的实现方式。
具体的,在步骤122的一种实现方式中,空域滤波的具体过程包括:
根据人体左右耳到人体呼吸声发声部位的方向分别确定第一麦克风阵列的第一响应方向以及第二麦克风阵列的第二响应方向;
基于第一响应方向将多路左侧音频数据合成为单路左侧音频数据,其中,增强第一响应方向的声音响应,抑制其他方向的声音干扰;
基于第二响应方向将多路右侧音频数据合成为单路右侧音频数据,其中,增强第二响应方向的声音响应,抑制其他方向的声音干扰。
图2所示为根据本申请呼吸数据的采集方法一实施例的麦克风阵列响应方向示意图。如图2所示,在本申请一实施例中,第一麦克风阵列配置在左耳位置201处,其响应方向(拾音方向)为211所示方向;第二麦克风阵列配置在左耳位置202处,其响应方向(拾音方向)为212所示方向。
图3所示为根据本申请呼吸数据的采集方法一实施例的麦克风阵列定向响应示意图。如图3所示,拾音目标为目标302,因此将麦克风阵列300的响应方向设定为朝向目标302的方向。麦克风阵列300的拾音波束区域为区域301,区域301以外的区域为抑制区域。在进行定向响应的过程中,增强区域301的声音响应(增强目标302的直达声),抑制其他方向(抑制区域)的环境噪声(例如,来自目标303、304的噪声)干扰。
具体的,在本申请一实施例中,麦克风阵列的空域滤波的具体算法包括最大信噪比法(maximum signal-to-noise ratio,MSNR),最小均方误差法(minimum mean-squarederror,MMSE),线性约束最小方差法(linearly constrained minimum variance,LCMV)等。
根据本申请一实施例的方法,基于麦克风阵列的定向响应实现针对人体呼吸声发声部位(嘴巴,声带部位)的定向拾音,可以有效消除拾音波束区域(人体呼吸声发声部位方向区域)以外的其他区域的环境噪声,大大提高呼吸音频数据的纯净性。
具体的,在本申请一实施例中,在步骤123的一种实现方式中,在实现左右耳噪声抵消的过程中,采取自适应滤波器方法对双耳采集的信号进行进一步降噪处理。例如可以对双耳获得的信号进行相关性分析,尤其是对于信号包含人呼吸频率以外的频段时;若两路信号相关性较高,但存在明显的相位差,可以判定该信号为噪声并来自于身体某一侧。进一步,可以对每一路信号进行频域滤波,再将结果进行比对(相关性)确认,可以将滤波后比对通过的数据进行叠加。
具体的,在步骤123的一种实现方式中,左右耳噪声抵消的具体过程包括:
对单路左侧音频数据以及单路右侧音频数据进行相关系分析;
对相关性超出第一预设阈值的两路音频信号进行相位差计算;
判定相位差大于第二预设阈值的两路音频信号为环境噪声信号;
过滤单路左侧音频数据以及单路右侧音频数据中的环境噪声信号,叠加过滤结果以生成用于进行呼吸状态分析的单路呼吸音频数据。
具体的,在本申请一实施例中,根据实际应用需求设定上述步骤123的实现方式中所采用的第一预设阈值以及第二预设阈值。在本申请一实施例中,对第一预设阈值以及第二预设阈值的具体大小不做明确限定。
根据本申请一实施例的方法,基于左右耳位置对同一侧环境噪声采集结果存在相位差的特点,进行环境噪声的判定以及消除,从而实现左右耳噪声抵消,可以有效消除产生于单侧的环境噪声,大大提高呼吸音频数据的纯净性。
进一步的,在实际应用场景中,应用较为广泛的呼吸状态参数包括呼吸率以及呼吸节奏。因此,在本申请一实施例中,在步骤120之后,在生成用于进行呼吸状态分析的单路呼吸音频数据之后,还包括:解析单路呼吸音频数据,获取呼吸数据,呼吸数据包括呼吸率和/或呼吸节奏。
具体的,在本申请一实施例中,在执行步骤120完成环境噪声消除后,系统采集到的信号中包含比较纯净的呼吸率信号,此时即可进行呼吸率的计算。具体的,计算呼吸率的方法包括频域算法或自相关等。在本申请一实施例中,计算呼吸率的频率处理算法为加窗后对呼吸音频数据进行快速傅里叶变换(Fast Fourier Transform,FFT),对频域信号求最大值,通过以下公式求得呼吸率
f=fs*Npeak/N, (1)
其中,f为呼吸率,fs为系统采样率,Npeak为信号频域极大值出现的位置,N为FFT的点数。
进一步的,在本申请一实施例中,基于对单路呼吸音频数据的分析而获取的呼吸数据包括但不限于呼吸率和/或呼吸节奏,可以根据实际应用需求,对单路呼吸音频数据进行针对性的分析并获取其他呼吸状态相关的参数。
具体的,在本申请一实施例中,对经由分析单路呼吸音频数据而获取的呼吸数据的具体内容不做限定。例如,在本申请一实施例中,通过对单路呼吸音频数据进行音量变化分析,获取耳机佩戴者的呼吸量变化数据。
进一步的,为简化用户操作,在本申请一实施例中,采用了根据用户运动状态变化来自动开启呼吸音频数据的采集的方案。
具体的,在本申请一实施例中,在获取第一麦克风阵列采集的多路左侧音频数据,以及,获取第二麦克风阵列采集的多路右侧音频数据之前,呼吸数据的采集方法还包括:
确认第一预设状态;
监控左耳耳机以及右耳耳机的佩戴者的运动状态;
当佩戴者的运动状态为第一预设状态时开启针对单路呼吸音频数据的采集。
具体的,在本申请一实施例中,根据用户的实际应用需求设定上述实施例所需要确认的第一预设状态。在本申请一实施例中,对第一预设状态的具体内容不做明确限定。例如,在本申请一实施例中,设定第一预设状态为运动,当佩戴耳机的用户处于非运动状态(例如,坐/躺听歌)时,不开启针对单路呼吸音频数据的采集。当佩戴耳机的用户开始运动(例如,跑步)时,开启针对单路呼吸音频数据的采集。
具体的,在本申请一实施例中,在耳机中内置运动传感器,运动传感器包括三轴加速度传感器和三轴角度传感器。通过运动传感器计算用户的运动参数(运动距离,步频,配速,触地时间等),从而确定耳机佩戴者的运动状态。例如,通过运动传感器判断耳机佩戴者运动/静止状态,在耳机佩戴者开始和结束运动时自动进行呼吸音频数据和其他运动指标检测的开始,暂停,停止等操作。
进一步的,基于本申请实施例的呼吸数据的采集方法,本申请一实施例还提出了一种运动指导方法。
具体的,在本申请一实施例的运动指导方法中,通过采集用户当前运动状态的运动特征来确定当前用户的具体运动状态细节,从而进一步确定正常运动状态下,当前用户所应该具备的呼吸状态特征(标准呼吸参数),将当前用户的呼吸数据与标准呼吸参数做对比,根据对比结果生成包含呼吸指导建议的运动指导建议。例如,在当前用户的呼吸数据与标准呼吸参数间偏差超过预设阈值时,说明当前用户的呼吸状态为非正常呼吸状态,则提醒用户调整呼吸状态。
具体的,在本申请一实施例的运动指导方法中,运动特征包括运动模式以及运动参数。运动模式为当前用户所进行的运动种类描述,运动参数包括当前用户的运动距离,步频,配速,触地时间等具体实时运动数据。根据运动模式以及运动参数确定当前用户的运动状态细节,从而进一步确定正常运动状态下,当前用户所应该具备的呼吸状态特征(标准呼吸参数)。
进一步的,在本申请一实施例的运动指导方法中,基于实际应用需求,也可以仅根据运动模式或运动参数中的一项来确定当前用户的运动状态细节,从而进一步确定正常运动状态下,当前用户所应该具备的呼吸状态特征(标准呼吸参数)。
图4所示为根据本申请运动指导方法一实施例的流程图。在本申请一实施例的运动指导方法中,如图4所示,运动指导方法的实现流程包括:
步骤410,获取当前用户的呼吸数据,呼吸数据为基于对呼吸声进行音频采集而获取到的数据;;
步骤420,获取当前用户的运动特征,运动特征包括运动模式和/或运动参数;
步骤430,获取匹配运动特征的标准呼吸参数;
步骤440,将标准呼吸参数与呼吸数据做对比,根据对比结果生成包含呼吸指导建议的运动指导建议。
根据图4所示实施例的运动指导方法,将针对呼吸数据的分析加入到了运动指导流程中,大大提高了对运动者实际运动状态判定的准确性,从而有效提高了运动指导建议与运动者实际运动状态的匹配度,提高了运动指导建议的有效性,提升了运动指导建议的效果,增强了运动者的用户体验。
具体的,图5所示为根据本申请运动指导方法一实施例的流程图。在本申请一实施例中,如图5所示,运动指导方法的实现流程包括:
步骤500,监控耳机佩戴者的运动状态;
步骤501,判断耳机佩戴者是否开始运动;
步骤510,当耳机佩戴者开始运动时,开启左耳耳机以及右耳耳机的麦克风阵列,采集多路左侧音频数据以及多路右侧音频数据;
步骤511,对多路左侧音频数据以及多路右侧音频数据进行频域滤波;
步骤512,分别对多路左侧音频数据以及多路右侧音频数据的频域滤波结果进行空域滤波,合成单路左侧音频数据以及单路右侧音频数据;
步骤513,对单路左侧音频数据以及单路右侧音频数据进行左右耳噪声抵消,合成单路呼吸音频数据;
步骤514,根据单路呼吸音频数据计算耳机佩戴者当前的呼吸率以及呼吸节奏;
步骤520,当耳机佩戴者开始运动时,获取耳机佩戴者的运动模式;
步骤530,使用耳机内置的运动传感器采集耳机佩戴者当前的运动参数;
步骤540,根据耳机佩戴者的运动模式以及耳机佩戴者当前的运动参数确定耳机佩戴者正常运动状态下所该具备的标准呼吸参数;
步骤550,对比计算获取的耳机佩戴者当前的呼吸率、呼吸节奏以及耳机佩戴者正常运动状态下所该具备的标准呼吸参数;
步骤551,根据对比结果生成呼吸指导建议并输出。
具体的,在根据本申请一实施例运动指导方法的应用场景中,耳机内置运动传感器,包括三轴加速度传感器和三轴角度传感器。通过运动传感器计算用户的运动参数(运动距离,步频,配速,触地时间等),结合呼吸率计算获取的呼吸率以及呼吸节奏,即可对运动进行指导,相关的运动指导包括:
1.根据运动的配速呼吸率和配速来调整呼吸的节奏;
2.根据呼吸率判断当前运动强度是否合适;
3.根据呼吸节奏判断当前处于有氧或无氧运动区间。
具体的,图6所示为根据本申请运动指导方法一实施例的流程图。在本申请一实施例中,如图6所示,在根据本申请一实施例的应用场景中,运动指导方法包括以下流程:
步骤610,获取用户的运动模式。
例如用户是否在进行跑步、骑行、游泳、登山、不同球类等体育运动。具体获取用户运动模式的方案可以包含下述方式:
(1)通过无线连接的智能终端(如手机、平板电脑等)或智能手表、智能手环、智能眼镜、智能运动配件(如自行车码表、智能篮球、智能羽毛球拍等)获取。
例如,用户连接的智能设备上启动了运动模式,如在智能手机或者智能手表上启动跑步模式,读取智能设备所启动的运动模式的描述信息。
(2)通过该智能耳机的传感器数据分析来判断运动模式。
例如,通过智能耳机的加速度计和陀螺仪数据判断周期性的振动,进而判断用户可能在快走或者跑步;若智能耳机上集成了卫星定位系统(如GPS、GLONASS、伽利略、北斗等)的接收端,则可根据加速度计、陀螺仪与定位变化(即速度)来联合判断运动模式。
又例如,GPS数据呈现高于普通步行的运动,此时分析加速度计的输出,如果信号呈现为较规律的周期性振荡,则可以根据振荡的周期判定为快走或者是跑步。进一步地,如果耳机支持了心率传感器(如基于光电容积脉搏描记的PPG),可以根据心率快慢判定是否为主动运动还是乘坐交通工具。
步骤620,获取用户当下运动模式对应的呼吸率参考表。
例如,对于跑步运动,参考表可能为:慢跑时对呼吸率不做要求(或不高于20次/分),中速跑时推荐呼吸率为每三步吸一次每三步呼一次(或不高于25次/分),快速跑时推荐呼吸率为每两步吸一次每两步呼一次(或不高于30次/分)。这里的慢跑、中速跑、快速跑可以基于固定的速度区间,如1公里配速>6分为慢跑,1公里配速4.5-6分为中速跑,一公里配速<4.5分为快跑;或者基于固定的或最大心率百分比的心率区间,如<120/或<60%最大心率为慢速跑。
又例如,对于游泳运动,可推荐划水次数与呼吸的匹配参考。
又例如,对于自行车可推荐跟踏频与呼吸的匹配参考。
以上参考表还可以细化考虑为不同年龄、性别、跑步能力的群体设置不同推荐值;以及根据不同教练/跑步理论形成不同的参考表供用户选择。
步骤630,判断用户当下的运动强度与呼吸率的匹配情况,从安全和训练目的角度,在不匹配的时候给予提醒,和/或在匹配的时候播报鼓励内容。
例如以下可实现的用例:
1.运动强度超过警戒时的提醒:
通过呼吸和/或心率判断用户当前的运动强度,例如心率>180或者90%最大心率;
和/或,
呼吸率超过35次/分,语音播报提醒用户减慢速度并把呼吸放平稳。
2.运动强度与呼吸率不匹配时的提醒:
如通过配速或者心率判断用户已处于高强度或高速跑,同时根据加速度计的周期性信号振荡得到步频信息,此时推荐的呼吸率为两步吸三步呼或者两步吸两步呼;
同时,监测迈步与呼吸率的节奏关系(即先后发生的时间),判断用户是否在建议的呼吸节奏上保持,若保持良好,对用户语音播报进行鼓励。以此,实现运动过程中的实时呼吸指导。
步骤640,运动结束后或阶段性结束时,呈现(语音播报或者App文字图表表达)包含呼吸率统计信息的运动总结。
例如,本次跑步10公里,用时60分钟,平均心率140;平均呼吸率25次/分,最大呼吸率35次/分,最小呼吸率20次/分,主要呼吸模式为二步吸三步呼,呼吸率总体与配速和步频较匹配,节奏控制得较好,请继续保持。
可以理解的是,上述实施例中的部分或全部步骤骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
进一步的,基于本申请一实施例中提出的呼吸数据的采集方法,本申请一实施例还提出了一种呼吸数据的采集装置。图7所示为根据本申请呼吸数据的采集装置一实施例的结构图。在本申请一实施例中,如图7所示,呼吸数据的采集装置700包括:
数据获取模块710,其用于获取多路左侧音频数据以及多路右侧音频数据,其中,多路左侧音频数据由配置在左耳耳机中的第一麦克风阵列采集,多路右侧音频数据由配置在右耳耳机中的第二麦克风阵列采集;
环境噪声消除模块720,其用于执行环境噪声消除操作,生成用于进行呼吸状态分析的单路呼吸音频数据,环境噪声消除模块720包括:
频域滤波子模块721,其用于根据人体呼吸率的频域范围确定第一频域范围,滤除第一频域范围之外的噪声干扰;
空域滤波子模块722,其用于基于人体呼吸声发声部位的方位进行麦克风阵列的定向响应,将多路左侧音频数据以及多路右侧音频数据分别合成为单路左侧音频数据以及单路右侧音频数据;
左右耳噪声抵消子模块723,其用于判定单路左侧音频数据以及单路右侧音频数据中共存的环境噪声并过滤环境噪声,将噪声过滤后两路音频数据合成为单路呼吸音频数据。
图7所示的本申请一实施例提供的装置可用于执行本申请实施例的方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
具体的,在本申请一实施例中,频域滤波子模块721用于:
对多路左侧音频数据以及多路右侧音频数据执行频域滤波,将滤波结果输出到空域滤波子模块722;
或者,
对空域滤波子模块722输出的单路左侧音频数据以及单路右侧音频数据进行频域滤波,将滤波结果输出到左右耳噪声抵消子模块723;
或者,
对左右耳噪声抵消子模块723输出的单路呼吸音频数据进行频域滤波。
进一步的,在本申请一实施例中,空域滤波子模块722包括:
响应方向确定器,其用于根据人体左右耳到人体呼吸声发声部位的方向分别确定第一麦克风阵列的第一响应方向以及第二麦克风阵列的第二响应方向;
第一合成器,其用于基于第一响应方向将多路左侧音频数据合成为单路左侧音频数据,其中,增强第一响应方向的声音响应,抑制其他方向的声音干扰;
第二合成器,其用于基于第二响应方向将多路右侧音频数据合成为单路右侧音频数据,其中,增强第二响应方向的声音响应,抑制其他方向的声音干扰。
进一步的,在本申请一实施例中,左右耳噪声抵消子模块723包括:
相关性分析器,其用于对单路左侧音频数据以及单路右侧音频数据进行相关系分析;
相位差计算器,其用于对相关性超出第一预设阈值的两路音频信号进行相位差计算;
噪声判定器,其用于判定相位差大于第二预设阈值的两路音频信号为环境噪声信号;
过滤合成器,其用于过滤单路左侧音频数据以及单路右侧音频数据中的环境噪声信号,叠加过滤结果以生成用于进行呼吸状态分析的单路呼吸音频数据。
进一步的,在本申请一实施例中,装置700还包括:
呼吸数据提取模块,其用于解析单路呼吸音频数据,获取呼吸数据,呼吸数据包括呼吸率和/或呼吸节奏。
进一步的,在本申请一实施例中,装置700还包括:
预设状态确认模块,其用于确定第一预设状态;
运动状态监控模块,其用于监控左耳耳机以及右耳耳机的佩戴者的运动状态;
呼吸数据采集发起模块,其用于当耳机佩戴者的运动状态为第一预设状态时开启针对单路呼吸音频数据的采集。
具体的,图8所示为根据本申请呼吸数据的采集装置一实施例的结构图。在本申请一实施例中,如图8所示,在本申请一实施例中,呼吸数据的采集装置800包括:
预设状态确认模块801,其用于确定第一预设状态;
运动状态监控模块802,其用于监控耳机佩戴者的运动状态;
呼吸数据采集发起模块803,其用于当耳机佩戴者的运动状态为第一预设状态时开启针对单路呼吸音频数据的采集;
数据获取模块810,其用于获取多路左侧音频数据以及多路右侧音频数据,其中,多路左侧音频数据由配置在左耳耳机中的第一麦克风阵列采集,多路右侧音频数据由配置在右耳耳机中的第二麦克风阵列采集;
环境噪声消除模块820,其用于执行环境噪声消除操作,生成用于进行呼吸状态分析的单路呼吸音频数据,环境噪声消除模块820包括:
频域滤波子模块821,其用于根据人体呼吸率的频域范围确定第一频域范围,对多路左侧音频数据以及多路右侧音频数据执行频域滤波,滤除第一频域范围之外的噪声干扰;
空域滤波子模块822,其包括响应方向确定器、第一合成器以及第二合成器,其中:
响应方向确定器用于根据人体左右耳到人体呼吸声发声部位的方向分别确定第一麦克风阵列的第一响应方向以及第二麦克风阵列的第二响应方向;
第一合成器用于基于第一响应方向将频域滤波后的多路左侧音频数据合成为单路左侧音频数据,其中,增强第一响应方向的声音响应,抑制其他方向的声音干扰;
第二合成器用于基于第二响应方向将频域滤波后的多路右侧音频数据合成为单路右侧音频数据,其中,增强第二响应方向的声音响应,抑制其他方向的声音干扰;
左右耳噪声抵消子模块823,其包括相关性分析器、相位差计算器、噪声判定器以及过滤合成器,其中:
相关性分析器用于对单路左侧音频数据以及单路右侧音频数据进行相关系分析;
相位差计算器用于对相关性超出第一预设阈值的两路音频信号进行相位差计算;
噪声判定器用于判定相位差大于第二预设阈值的两路音频信号为环境噪声信号;
过滤合成器于过滤单路左侧音频数据以及单路右侧音频数据中的环境噪声信号,叠加过滤结果以生成用于进行呼吸状态分析的单路呼吸音频数据;
呼吸数据提取模块830,其用于解析单路呼吸音频数据,获取呼吸数据,呼吸数据包括呼吸率和/或呼吸节奏。
进一步的,基于本申请实施例所提出的方法,在本申请一实施例中还提出了一种运动指导装置。具体的,图9所示为根据本申请运动指导装置一实施例的结构图。在本申请一实施例中,如图9所示,在本申请一实施例中,运动指导装置900包括:
呼吸数据获取模块910,其用于获取当前用户的呼吸数据,呼吸数据为基于对呼吸声进行音频采集而获取到的数据;
运动特征获取模块920,其用于获取当前用户的运动特征,运动特征包括运动模式和/或运动参数;
标准参数提取模块930,其用于获取匹配运动特征的标准呼吸参数
运动指导模块940,其用于将标准呼吸参数与呼吸数据做对比,根据对比结果生成包含呼吸指导建议的运动指导建议。
图9所示的本申请一实施例提供的装置可用于执行本申请实施例的方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
进一步的,在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(FieldProgrammable Gate Array,FPGA))就是这样一种集成电路,其逻辑功能由访问方对器件编程来确定。由设计人员自行编程来把一个数字装置“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera HardwareDescription Language)、Confluence、CUPL(Cornell University ProgrammingLanguage)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)等,目前最普遍使用的是VHDL(Very-High-Speed Integrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在本申请实施例的描述中,为了描述的方便,描述装置时以功能分为各种模块/单元分别描述,各个模块/单元的划分仅仅是一种逻辑功能的划分,在实施本申请实施例时可以把各模块/单元的功能在同一个或多个软件和/或硬件中实现。
具体的,本申请实施例所提出的装置在实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块以软件通过处理元件调用的形式实现,部分模块通过硬件的形式实现。例如,检测模块可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,ASIC),或,一个或多个数字信号处理器(Digital Singnal Processor,DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,FPGA)等。再如,这些模块可以集成在一起,以片上装置(System-On-a-Chip,SOC)的形式实现。
进一步的,基于本申请实施例所提出的方法,在本申请一实施例中还提出了一种真无线立体声(TWS)耳机。具体的,在本申请一实施例中,TWS耳机包括左耳耳机以及右耳耳机,其中:
左耳耳机包括第一麦克风阵列,其用于采集多路左侧音频数据;
右耳耳机包括第二麦克风阵列,其用于采集多路右侧音频数据;
耳机还包括如本申请实施例所述的呼吸数据的采集装置,其中:
采集装置的数据获取模块包含两个数据获取子模块,所述两个数据获取子模块被分别配置在所述左耳耳机以及所述右耳耳机中;
采集装置的频域滤波子模块被配置在左耳耳机和/或右耳耳机中;例如,频域滤波子模块被配置在左耳耳机或右耳耳机中;又例如,频域滤波子模块包含两个滤波模块,频域滤波子模块的两个滤波模块被分别配置在左耳耳机以及右耳耳机中;
采集装置的空域滤波子模块被配置在左耳耳机和右耳耳机中;例如,空域滤波子模块包含两个滤波模块,空域滤波子模块的两个滤波模块被分别配置在左耳耳机以及右耳耳机中;
采集装置的左右耳噪声抵消子模块被配置在左耳耳机或右耳耳机中。
进一步的,在本申请一实施例中,TWS耳机还包括:
配置在左耳耳机或右耳耳机中的运动状态预设模块,其用于确定第一预设状态;
配置在左耳耳机和/或右耳耳机中的运动状态监控模块,其用于采集耳机的运动参数,根据运动参数判断耳机的佩戴者的运动状态;
配置在左耳耳机和/或右耳耳机中的呼吸数据采集发起模块,其用于当佩戴者的运动状态为第一预设状态时启动第一麦克风阵列、第二麦克风阵列以及环境噪声消除模块,进行单路呼吸音频数据的获取。
进一步的,在本申请一实施例中,TWS耳机还包括:
配置在左耳耳机或右耳耳机中的呼吸数据提取模块,其用于解析单路呼吸音频数据,获取呼吸数据。
进一步的,在本申请一实施例中,TWS耳机还包括:
配置在左耳耳机和/或右耳耳机中的运动特征获取模块,其用于获取当前用户的运动特征,运动特征包括运动模式和/或运动参数;
配置在左耳耳机或右耳耳机中的标准参数提取模块,其用于获取匹配运动特征的标准呼吸参数;
配置在左耳耳机或右耳耳机中的运动指导模块,其用于将标准呼吸参数与呼吸数据做对比,根据对比结果生成包含呼吸指导建议的运动指导建议。
这里需要说明的是,在本申请一实施例中,对上述模块在TWS耳机的左耳耳机以及右耳耳机中的具体配置方式不做具体限定。
在本申请一实施例中,可以根据实际应用需求(例如,左耳耳机以及右耳耳机的硬件配置情况)来安排环境噪声消除模块、和/或运动状态预设模块、和/或运动状态监控模块、和/或呼吸数据采集发起模块、和/或呼吸数据提取模块、和/或运动特征获取模块、和/或标准参数提取模块、和/或运动指导模块在TWS耳机的左耳耳机以及右耳耳机中的具体配置方式。
具体的,在本申请一实施例中,运动特征获取模块包括分别配置在TWS耳机的左耳耳机以及右耳耳机中的运动传感器。
具体的,在本申请一实施例中,运动特征获取模块包括分别配置在TWS耳机的左耳耳机以及右耳耳机中的运动传感器。
具体的,在本申请一实施例中,运动特征获取模块以及运动状态监控模块包括分别配置在TWS耳机的左耳耳机以及右耳耳机中的运动传感器。
具体的,在本申请一实施例中,将环境噪声消除模块部分配置在TWS耳机的左耳耳机,部分配置在TWS耳机的右耳耳机,从而平衡左耳耳机以及右耳耳机的数据处理压力,并尽可能的降低左右耳耳机间的数据传输量。
具体的,在本申请一实施例中,频域滤波子模块包括配置在TWS耳机的左耳耳机的第一频域滤波器以及配置在TWS耳机的右耳耳机的第二频域滤波器,空域滤波子模块包括配置在TWS耳机的左耳耳机的第一空域滤波器以及配置在TWS耳机的右耳耳机的第二空域滤波器,其中:
第一频域滤波器以及第二频域滤波器分别用于对多路左侧音频数据以及多路右侧音频数据执行频域滤波,第一空域滤波器以及第二空域滤波器分别用于对多路左侧音频数据以及多路右侧音频数据的频域滤波结果执行空域滤波;
或者,
第一空域滤波器以及第二空域滤波器分别用于对多路左侧音频数据以及多路右侧音频数据执行空域滤波,第一频域滤波器以及第二频域滤波器分别用于对多路左侧音频数据以及多路右侧音频数据的空域滤波结果执行频域滤波。
具体的,图10所示为根据本申请TWS耳机一实施例的结构图。在本申请一实施例中,如图10所示,在本申请一实施例中,TWS耳机的包括左耳耳机1010以及右耳耳机1020。
左耳耳机1010包括麦克风阵列1011、频域滤波器1012、空域滤波器1013、左右耳噪声抵消子模块1014、发声模块1015以及数据传输单元1016。
右耳耳机1020包括麦克风阵列1021、频域滤波器1022、空域滤波器1023、发声模块1025以及数据传输单元1026。
具体的,在本申请一实施例中,频域滤波子模块配置在左耳耳机或右耳耳机,空域滤波子模块包括配置在左耳耳机的第一空域滤波器以及配置在右耳耳机的第二空域滤波器,其中:
第一空域滤波器以及第二空域滤波器分别用于对多路左侧音频数据以及多路右侧音频数据执行空域滤波;
频域滤波子模块用于对多路左侧音频数据以及多路右侧音频数据的空域滤波结果分别执行频域滤波,或者,频域滤波子模块用于对左右耳噪声抵消子模块输出的单路呼吸音频数据进行频域滤波。
具体的,图11所示为根据本申请TWS耳机的一实施例的结构图。在本申请一实施例中,如图11所示,在本申请一实施例中,TWS耳机的包括左耳耳机1110以及右耳耳机1120。
左耳耳机1110包括麦克风阵列1111、频域滤波器1112、空域滤波器1113、左右耳噪声抵消子模块1114、发声模块1115以及数据传输单元1116。
右耳耳机1120包括麦克风阵列1121、空域滤波器1123、发声模块1125以及数据传输单元1126。
进一步的,在本申请一实施例中,将环境噪声消除模块全部配置在TWS耳机的左耳耳机或右耳耳机中,当耳机的麦克风阵列采集到多路音频数据后,没有配置环境噪声消除模块的耳机将多路音频数据通过两个耳机间的无线数据通道传输到配置有环境噪声消除模块的耳机。
进一步的,在本申请一实施例中,将TWS耳机的与外部设备建立连接的耳机作为主耳机,另一个耳机作为副耳机,将环境噪声消除模块全部配置在TWS耳机的主耳机中,从而大大降低副耳机硬件配置需求,从而控制成本。进一步的,在本申请一实施例中,将环境噪声消除模块全部配置在TWS耳机的副耳机中,从而降低主耳机的数据处理压力,避免由于主耳机的数据处理压力而影响主耳机与外部设备的数据通信连接。
具体的,在本申请一实施例中,频域滤波子模块配置在TWS耳机的左耳耳机或右耳耳机,空域滤波子模块配置在TWS耳机的左耳耳机或右耳耳机,其中,频域滤波子模块用于:
对多路左侧音频数据以及多路右侧音频数据执行频域滤波,将滤波结果输出到空域滤波子模块;
或者,
对空域滤波子模块输出的单路左侧音频数据以及单路右侧音频数据进行频域滤波,将滤波结果输出到左右耳噪声抵消子模块;
或者,
对左右耳噪声抵消子模块输出的单路呼吸音频数据进行频域滤波。
具体的,图12所示为根据本申请TWS耳机的一实施例的结构图。在本申请一实施例中,如图12所示,在本申请一实施例中,TWS耳机的包括左耳耳机1210以及右耳耳机1220。
左耳耳机1210包括麦克风阵列1211、频域滤波器1212、空域滤波器1213、左右耳噪声抵消子模块1214、发声模块1215以及数据传输单元1216。
右耳耳机1220包括麦克风阵列1221、发声模块1225以及数据传输单元1226。
可以理解的是,图10~12所示的本申请实施例示意的结构并不构成对本申请实施例所提出的TWS耳机的的具体限定。在本申请另一些实施例中,TWS耳机的左耳耳机与右耳耳机的内部配置可以对换,进一步的,TWS耳机的可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
具体的,图13所示为根据本申请TWS耳机的一实施例的右耳耳机或左耳耳机的结构图。在本申请一实施例中,如图13所示,在本申请一实施例中,左耳/右耳耳机1300包括发声模块1310、麦克风阵列1320、音频模块1330、处理器1340、存储模块1350、运动传感器1360、无线传输模块1370、电源1380、用户输入模块1390。
可以理解的是,图13所示的本申请实施例示意的结构并不构成对TWS耳机的左耳/右耳耳机1300的具体限定。在本申请另一些实施例中,左耳/右耳耳机1300可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器1340为耳机的核心单元,用于实现环境噪声消除模块、和/或运动状态预设模块、和/或运动状态监控模块、和/或呼吸数据采集发起模块、和/或呼吸数据提取模块、和/或运动特征获取模块、和/或标准参数提取模块、和/或运动指导模块的功能。
处理器1340可以包括一个或多个处理单元,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。处理器1340中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器1340可以包括一个或多个接口。
存储模块1350包含内部存储器,内部存储器可以用于存储计算机可执行程序代码,该可执行程序代码包括指令。内部存储器可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能)等。存储数据区可存储耳机1300使用过程中所创建/接收的数据(比如音频数据)。此外,内部存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器1340通过运行存储在存储模块1350的指令,和/或存储在设置于处理器中的存储器的指令,执行耳机1300的各种功能应用以及数据处理。
存储模块1350还可以包含外部存储器接口。外部存储器接口可以用于连接外部存储卡,例如Micro SD卡,实现扩展耳机1300的存储能力。例如将音乐保存在外部存储卡中。
发声模块1310负责耳机发声(例如,喇叭)。
麦克风阵列1320负责声音采集。
运动传感器1360负责采集运动中的姿态数据,包括步频,速度,跑步姿态等。运动传感器1360可以包括加速度传感器,加速度传感器可检测耳机1300在各个方向上(一般为三轴)加速度的大小。当耳机1300静止时可检测出重力的大小及方向。运动传感器1360还可以包括陀螺仪传感器,陀螺仪传感器可以用于确定耳机1300的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定耳机1300围绕三个轴(即,x,y和z轴)的角速度。
用户输入模块1390用于获取用户输入操作(例如,开关电源、开始网络配对、初始化等操作)。
用户输入模块1390可以包括压力传感器,压力传感器用于感受压力信号,可以将压力信号转换成电信号。压力传感器的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器,电极之间的电容改变。耳机1300根据电容的变化确定压力的强度。当有触摸操作作用于耳机1300,耳机1300根据压力传感器检测触摸操作强度。耳机1300也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
用户输入模块1390还可以包括触摸传感器,也称“触控器件”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给处理器1340,以确定触摸事件类型。
用户输入模块1390还可以包括骨传导传感器。骨传导传感器可以获取振动信号。在一些实施例中,骨传导传感器可以获取人体声部振动骨块的振动信号。骨传导传感器也可以接触人体脉搏,接收血压跳动信号。音频模块1330可以基于骨传导传感器获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。处理器1340可以基于骨传导传感器获取的血压跳动信号解析心率信息,实现心率检测功能。
用户输入模块1390还可以包括按键,按键可以包括开机键,音量键等。按键可以是机械按键,也可以是触摸式按键。耳机1300可以接收按键输入,产生与耳机1300的用户设置以及功能控制有关的键信号输入。
音频模块1330用于将数字音频信息转换成模拟音频信号输出到发声模块1310,也用于将麦克风阵列1320的模拟音频输入转换为数字音频信号,音频模块还可以用于对音频信号编码和解码。在一些实施例中,音频模块1330可以完全设置于处理器1340中,或将音频模块1330的部分功能模块设置于处理器1340中。
电源1380用于进行电源管理并为耳机的其他组件提供电源支持。电源1380包含充电管理模块、电源管理模块以及电池。充电管理模块用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块可以通过USB接口接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块可以通过无线充电线圈接收无线充电输入。
电源管理模块用于连接电池、充电管理模块与处理器1340。电源管理模块接收电池和/或充电管理模块的输入,为处理器1340、发声模块1320、音频模块1330,麦克风阵列1320、存储模块1350、运动传感器1360、无线传输模块1370、用户输入模块1390等供电。电源管理模块还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块也可以设置于处理器1340中。在另一些实施例中,电源管理模块和充电管理模块也可以设置于同一个器件中。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对耳机1300的结构限定。在本申请另一些实施例中,耳机1300也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
本申请一实施例还提出了一种真无线立体声(TWS)耳机,TWS耳机包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发TWS耳机执行本申请实施例所提出的方法步骤:
获取第一麦克风阵列采集的多路左侧音频数据,以及,获取第二麦克风阵列采集的多路右侧音频数据,其中,第一麦克风阵列配置在左耳耳机中,第二麦克风阵列配置在右耳耳机中;
执行环境噪声消除操作,生成用于进行呼吸状态分析的单路呼吸音频数据,环境噪声消除操作包括:
频域滤波,根据人体呼吸率的频域范围确定第一频域范围,滤除第一频域范围之外的噪声干扰;
空域滤波,基于人体呼吸声发声部位的方位进行麦克风阵列的定向响应,将多路左侧音频数据以及多路右侧音频数据分别合成为单路左侧音频数据以及单路右侧音频数据;
左右耳噪声抵消,判定单路左侧音频数据以及单路右侧音频数据中共存的环境噪声并过滤环境噪声,将噪声过滤后两路音频数据合成为单路呼吸音频数据。
在本申请一实施例中:
指令被TWS耳机执行时,使得TWS耳机在执行空域滤波之前,对多路左侧音频数据以及多路右侧音频数据执行频域滤波;
或者,
指令被TWS耳机执行时,使得TWS耳机在执行左右耳噪声抵消之前,对单路左侧音频数据以及单路右侧音频数据执行频域滤波;
或者,
指令被TWS耳机执行时,使得TWS耳机在执行左右耳噪声抵消之后,对单路呼吸音频数据执行频域滤波。
在本申请一实施例中,指令被TWS耳机执行时,使得TWS耳机执行空域滤波,包括:
根据人体左右耳到人体呼吸声发声部位的方向分别确定第一麦克风阵列的第一响应方向以及第二麦克风阵列的第二响应方向;
基于第一响应方向将多路左侧音频数据合成为单路左侧音频数据,其中,增强第一响应方向的声音响应,抑制其他方向的声音干扰;
基于第二响应方向将多路右侧音频数据合成为单路右侧音频数据,其中,增强第二响应方向的声音响应,抑制其他方向的声音干扰。
在本申请一实施例中,指令被TWS耳机执行时,使得TWS耳机执行左右耳噪声抵消,包括:
对单路左侧音频数据以及单路右侧音频数据进行相关系分析;
对相关性超出第一预设阈值的两路音频信号进行相位差计算;
判定相位差大于第二预设阈值的两路音频信号为环境噪声信号;
过滤单路左侧音频数据以及单路右侧音频数据中的环境噪声信号,叠加过滤结果以生成用于进行呼吸状态分析的单路呼吸音频数据。
在本申请一实施例中,指令被TWS耳机执行时,使得TWS耳机执行获取第一麦克风阵列采集的多路左侧音频数据,以及,获取第二麦克风阵列采集的多路右侧音频数据之前,还包括:
确认第一预设状态;
监控左耳耳机以及右耳耳机的佩戴者的运动状态;
当佩戴者的运动状态为第一预设状态时开启针对单路呼吸音频数据的采集。
在本申请一实施例中,指令被TWS耳机执行时,使得TWS耳机执行生成用于进行呼吸状态分析的单路呼吸音频数据之后,还包括:
解析单路呼吸音频数据,获取呼吸率和/或呼吸节奏。
本申请一实施例还提出了一种电子设备,电子设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发电子设备执行如下步骤:
获取当前用户的呼吸数据,呼吸数据为基于对呼吸声进行音频采集而获取到的数据;
获取当前用户的运动特征,运动特征包括运动模式和/或运动参数;
获取匹配运动特征的标准呼吸参数;
将标准呼吸参数与呼吸数据做对比,根据对比结果生成包含呼吸指导建议的运动指导建议。
具体的,在本申请一实施例中,上述电子设备可以为移动终端(手机、平板电脑、笔记本电脑)、本地终端(个人/工业电脑)、云端服务器等设备。其中上述一个或多个计算机程序被存储在上述存储器中,上述一个或多个计算机程序包括指令,当上述指令被上述设备执行时,使得上述设备执行本申请实施例所述的方法步骤。
进一步的,本申请一实施例所示的电子设备可以是终端设备也可以是内置于上述终端设备的电路设备。该设备可以用于执行本申请实施例提供的方法中的功能/步骤。
具体的,在本申请一实施例中,电子设备的处理器可以是片上装置SOC,该处理器中可以包括中央处理器(Central Processing Unit,CPU),还可以进一步包括其他类型的处理器。具体的,在本申请一实施例中,涉及的处理器可以例如包括应用处理器(Application Processor,AP)、图形处理器(Graphics Processing Unit,GPU)、DSP、脉冲宽度调制(Pulse Width Modulation,PWM)控制芯片、嵌入式神经网络处理器(Neural-network Process Units,NPU)、图像信号处理器(Image Signal Processing,ISP)、控制器、视频编解码器、基带处理器和调制解调处理器等。该处理器还可包括必要的硬件加速器或逻辑处理硬件电路,如ASIC,或一个或多个用于控制本申请技术方案程序执行的集成电路等。此外,处理器可以具有操作一个或多个软件程序的功能,软件程序可以存储在存储介质中。
具体的,在本申请一实施例中,存储器可以为能够用于携带或存储具有指令或数据结构形式的期望的程序代码的任何计算机可读介质。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase Change Random Aces Memory,PRAM)、静态随机存取存储器(StaticRandom-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random Access Memory,DRAM)、其他类型的随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-OnlyMemory,ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact DiscRead-Only Memory,CD-ROM)、数字多功能光盘(Digital Video Disc,DVD)或其他光学存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质等各种可以存储程序代码的、可以被计算设备访问的介质。
具体的,在本申请一实施例中,处理器可以和存储器可以合成一个处理装置,更常见的是彼此独立的部件,处理器用于执行存储器中存储的程序代码来实现本申请实施例所述方法。具体实现时,该存储器也可以集成在处理器中,或者,独立于处理器。
本申请实施例阐明的设备、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
具体的,在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存是计算机可读介质的示例。
本领域内的技术人员应明白,本申请实施例可提供为方法、装置、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
具体的,本申请一实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请实施例提供的方法。
本申请一实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行本申请实施例提供的方法。
本申请中的实施例描述是参照根据本申请实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可以是单个,也可以是多个。
本申请实施例中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以意识到,本申请实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述,仅为本申请实施例的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种呼吸数据的处理方法,由电子设备执行,其特征在于,包括:
获取第一麦克风阵列采集的多路左侧音频数据,以及,获取第二麦克风阵列采集的多路右侧音频数据,其中,所述第一麦克风阵列配置在左耳耳机中,所述第二麦克风阵列配置在右耳耳机中;
执行环境噪声消除操作,生成用于进行呼吸状态分析的单路呼吸音频数据,所述环境噪声消除操作包括:
频域滤波,根据人体呼吸率的频域范围确定第一频域范围,滤除所述第一频域范围之外的噪声干扰;
空域滤波,基于人体呼吸声发声部位的方位进行麦克风阵列的定向响应,将所述多路左侧音频数据以及所述多路右侧音频数据分别合成为单路左侧音频数据以及单路右侧音频数据;
左右耳噪声抵消,基于左右耳位置对同一侧环境噪声采集结果存在相位差,判定所述单路左侧音频数据以及所述单路右侧音频数据中共存的环境噪声并过滤所述环境噪声,将噪声过滤后两路音频数据合成为所述单路呼吸音频数据。
2.根据权利要求1所述的处理方法,其特征在于:
在执行所述空域滤波之前,对所述多路左侧音频数据以及所述多路右侧音频数据执行所述频域滤波;
或者,
在执行所述左右耳噪声抵消之前,对所述单路左侧音频数据以及所述单路右侧音频数据执行所述频域滤波;
或者,
在执行所述左右耳噪声抵消之后,对所述单路呼吸音频数据执行所述频域滤波。
3.根据权利要求1所述的处理方法,其特征在于,所述空域滤波包括:
根据人体左右耳到人体呼吸声发声部位的方向分别确定所述第一麦克风阵列的第一响应方向以及所述第二麦克风阵列的第二响应方向;
基于所述第一响应方向将所述多路左侧音频数据合成为所述单路左侧音频数据,其中,增强所述第一响应方向的声音响应,抑制其他方向的声音干扰;
基于所述第二响应方向将所述多路右侧音频数据合成为所述单路右侧音频数据,其中,增强所述第二响应方向的声音响应,抑制其他方向的声音干扰。
4.根据权利要求1所述的处理方法,其特征在于,所述左右耳噪声抵消包括:
对所述单路左侧音频数据以及所述单路右侧音频数据进行相关性分析;
对相关性超出第一预设阈值的两路音频信号进行相位差计算;
判定相位差大于第二预设阈值的所述两路音频信号为环境噪声信号;
过滤所述单路左侧音频数据以及所述单路右侧音频数据中的所述环境噪声信号,叠加过滤结果以生成所述单路呼吸音频数据。
5.根据权利要求1所述的处理方法,其特征在于,所述获取第一麦克风阵列采集的多路左侧音频数据,以及,获取第二麦克风阵列采集的多路右侧音频数据之前,还包括:
确认第一预设状态;
监控所述左耳耳机以及所述右耳耳机的佩戴者的运动状态;
当所述佩戴者的运动状态为第一预设状态时开启针对所述单路呼吸音频数据的采集。
6.根据权利要求1~5中任一项所述的处理方法,其特征在于,所述生成用于进行呼吸状态分析的单路呼吸音频数据之后,还包括:
解析所述单路呼吸音频数据,获取呼吸率和/或呼吸节奏。
7.一种运动指导方法,其特征在于,包括:
获取当前用户的单路呼吸音频数据,所述单路呼吸音频数据为基于权利要求1~6中任一项所述的呼吸数据的处理方法所生成用于进行呼吸状态分析的所述单路呼吸音频数据;
获取所述当前用户的运动特征,所述运动特征包括运动模式和/或运动参数;
获取匹配所述运动特征的标准呼吸参数;
将所述标准呼吸参数与所述呼吸数据做对比,根据对比结果生成包含呼吸指导建议的运动指导建议。
8.一种呼吸数据的采集装置,其特征在于,包括:
数据获取模块,其用于获取多路左侧音频数据以及多路右侧音频数据,其中,所述多路左侧音频数据由配置在左耳耳机中的第一麦克风阵列采集,所述多路右侧音频数据由配置在右耳耳机中的第二麦克风阵列采集;
环境噪声消除模块,其用于执行环境噪声消除操作,生成用于进行呼吸状态分析的单路呼吸音频数据,所述环境噪声消除模块包括:
频域滤波子模块,其用于根据人体呼吸率的频域范围确定第一频域范围,滤除所述第一频域范围之外的噪声干扰;
空域滤波子模块,其用于基于人体呼吸声发声部位的方位进行麦克风阵列的定向响应,将所述多路左侧音频数据以及所述多路右侧音频数据分别合成为单路左侧音频数据以及单路右侧音频数据;
左右耳噪声抵消子模块,基于左右耳位置对同一侧环境噪声采集结果存在相位差,判定所述单路左侧音频数据以及所述单路右侧音频数据中共存的环境噪声并过滤所述环境噪声,将噪声过滤后两路音频数据合成为所述单路呼吸音频数据。
9.根据权利要求8所述的采集装置,其特征在于,所述频域滤波子模块用于:
对所述多路左侧音频数据以及所述多路右侧音频数据执行频域滤波,将滤波结果输出到所述空域滤波子模块;
或者,
对所述空域滤波子模块输出的所述单路左侧音频数据以及所述单路右侧音频数据进行频域滤波,将滤波结果输出到所述左右耳噪声抵消子模块;
或者,
对所述左右耳噪声抵消子模块输出的所述单路呼吸音频数据进行频域滤波。
10.根据权利要求8所述的采集装置,其特征在于,所述空域滤波子模块包括:
响应方向确定器,其用于根据人体左右耳到人体呼吸声发声部位的方向分别确定所述第一麦克风阵列的第一响应方向以及所述第二麦克风阵列的第二响应方向;
第一合成器,其用于基于所述第一响应方向将所述多路左侧音频数据合成为所述单路左侧音频数据,其中,增强所述第一响应方向的声音响应,抑制其他方向的声音干扰;
第二合成器,其用于基于所述第二响应方向将所述多路右侧音频数据合成为所述单路右侧音频数据,其中,增强所述第二响应方向的声音响应,抑制其他方向的声音干扰。
11.根据权利要求8~10中任一项所述的采集装置,其特征在于,所述左右耳噪声抵消子模块包括:
相关性分析器,其用于对所述单路左侧音频数据以及所述单路右侧音频数据进行相关性分析;
相位差计算器,其用于对相关性超出第一预设阈值的两路音频信号进行相位差计算;
噪声判定器,其用于判定相位差大于第二预设阈值的所述两路音频信号为环境噪声信号;
过滤合成器,其用于过滤所述单路左侧音频数据以及所述单路右侧音频数据中的所述环境噪声信号,叠加过滤结果以生成所述单路呼吸音频数据。
12.根据权利要求8~10中任一项所述的采集装置,其特征在于,所述采集装置还包括:
预设状态确认模块,其用于确定第一预设状态;
运动状态监控模块,其用于监控所述左耳耳机以及所述右耳耳机的佩戴者的运动状态;
呼吸数据采集发起模块,其用于当所述佩戴者的运动状态为第一预设状态时开启针对所述单路呼吸音频数据的采集。
13.根据权利要求8~10中任一项所述的采集装置,其特征在于,所述采集装置还包括:
呼吸数据提取模块,其用于解析所述单路呼吸音频数据,获取呼吸率和/或呼吸节奏。
14.一种运动指导装置,其特征在于,包括:
呼吸数据获取模块,其用于获取当前用户的单路呼吸音频数据,所述单路呼吸音频数据为基于权利要求1~6中任一项所述的呼吸数据的处理方法所生成用于进行呼吸状态分析的所述单路呼吸音频数据;
运动特征获取模块,其用于获取所述当前用户的运动特征,所述运动特征包括运动模式和/或运动参数;
标准参数提取模块,其用于获取匹配所述运动特征的标准呼吸参数;
运动指导模块,其用于将所述标准呼吸参数与所述呼吸数据做对比,根据对比结果生成包含呼吸指导建议的运动指导建议。
15.一种真无线立体声耳机,其特征在于,所述真无线立体声耳机包括左耳耳机以及右耳耳机,其中:
所述左耳耳机包括第一麦克风阵列,其用于采集多路左侧音频数据;
所述右耳耳机包括第二麦克风阵列,其用于采集多路右侧音频数据;
所述耳机还包括如权利要求8~12中任一项所述的呼吸数据的采集装置,其中:
所述采集装置的数据获取模块被配置在所述左耳耳机以及所述右耳耳机中;
所述采集装置的频域滤波子模块被配置在所述左耳耳机和/或所述右耳耳机中;
所述采集装置的空域滤波子模块被配置在所述左耳耳机以及所述右耳耳机中;
所述采集装置的左右耳噪声抵消子模块被配置在所述左耳耳机或所述右耳耳机中。
16.一种真无线立体声耳机,其特征在于,所述真无线立体声耳机包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器,其中,当所述存储器中存储的计算机程序指令被所述处理器执行时,触发所述真无线立体声耳机执行如权利要求1~6中任一项所述的处理方法的方法步骤。
17.一种电子设备,其特征在于,所述电子设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器,其中,当所述存储器中存储的计算机程序指令被所述处理器执行时,触发所述电子设备执行如权利要求7所述的运动指导方法的方法步骤。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1-6任一项所述的处理方法或如权利要求7所述的运动指导方法。
CN202010219903.4A 2020-03-25 2020-03-25 呼吸数据的采集方法、装置和电子设备 Active CN113440127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010219903.4A CN113440127B (zh) 2020-03-25 2020-03-25 呼吸数据的采集方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010219903.4A CN113440127B (zh) 2020-03-25 2020-03-25 呼吸数据的采集方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113440127A CN113440127A (zh) 2021-09-28
CN113440127B true CN113440127B (zh) 2022-10-18

Family

ID=77806813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219903.4A Active CN113440127B (zh) 2020-03-25 2020-03-25 呼吸数据的采集方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113440127B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023240510A1 (zh) * 2022-06-15 2023-12-21 北京小米移动软件有限公司 呼吸监测方法、装置、耳机及存储介质
CN116110539B (zh) * 2023-02-14 2024-03-26 苏州睿酷医疗科技有限责任公司 一种缓解疼痛的虚拟现实系统和方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110301890A (zh) * 2019-05-31 2019-10-08 华为技术有限公司 呼吸暂停监测的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8477955B2 (en) * 2004-09-23 2013-07-02 Thomson Licensing Method and apparatus for controlling a headphone
US10632278B2 (en) * 2017-07-20 2020-04-28 Bose Corporation Earphones for measuring and entraining respiration
US10682491B2 (en) * 2017-07-20 2020-06-16 Bose Corporation Earphones for measuring and entraining respiration
US20190029563A1 (en) * 2017-07-26 2019-01-31 Intel Corporation Methods and apparatus for detecting breathing patterns
US11540743B2 (en) * 2018-07-05 2023-01-03 Starkey Laboratories, Inc. Ear-worn devices with deep breathing assistance

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110301890A (zh) * 2019-05-31 2019-10-08 华为技术有限公司 呼吸暂停监测的方法及装置

Also Published As

Publication number Publication date
CN113440127A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
US20200267487A1 (en) Dynamic spatial auditory cues for assisting exercise routines
US11871172B2 (en) Stand-alone multifunctional earphone for sports activities
US11557395B2 (en) Portable exercise-related data apparatus
JP6613392B2 (ja) 音響再生装置
CN113440127B (zh) 呼吸数据的采集方法、装置和电子设备
US11017758B2 (en) Information processing apparatus, information processing method, and program
EP2229880A1 (en) Headband integrated monitoring unit using an accelerometer
CN205286364U (zh) 一种无线智能运动心率监测耳机
US11073900B2 (en) Techniques for monitoring and detecting respiration
CN110572734A (zh) 一种耳机智能监听环境音的方法及耳机
CN106489111A (zh) 输入设备、生物体传感器、程序、计算机可读取的介质以及模式设定方法
JP4407284B2 (ja) 耳装着型電子機器、移動履歴表示装置
TW201918831A (zh) 水中運動的姿勢矯正裝置及方法
CN113599787B (zh) 一种呼吸训练方法和可穿戴设备
KR101536214B1 (ko) 다기능 스포츠 헤어 밴드형 무선 핸즈프리
CN114100101B (zh) 一种跑步姿态检测方法及设备
JP2005118402A (ja) 電子式運動姿勢認識装置
CN207835718U (zh) 一种耳机
TWI565502B (zh) 運動訓練系統、運動訓練裝置及儲存媒體
US20230101617A1 (en) Full body pose estimation through feature extraction from multiple wearable devices
JP5921047B2 (ja) ユーザーインターフェース装置
JP2010193064A (ja) A/d変換装置及びヘッドセット
US20230096949A1 (en) Posture and motion monitoring using mobile devices
WO2024066962A1 (zh) 呼吸健康检测方法及可穿戴电子设备
WO2016088307A1 (ja) 生体情報解析装置、生体情報解析システム及び生体情報解析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant