CN112135213B - 一种基于音频穿戴设备的信息处理方法 - Google Patents

一种基于音频穿戴设备的信息处理方法 Download PDF

Info

Publication number
CN112135213B
CN112135213B CN202010878951.4A CN202010878951A CN112135213B CN 112135213 B CN112135213 B CN 112135213B CN 202010878951 A CN202010878951 A CN 202010878951A CN 112135213 B CN112135213 B CN 112135213B
Authority
CN
China
Prior art keywords
audio
module
mode
wearable device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010878951.4A
Other languages
English (en)
Other versions
CN112135213A (zh
Inventor
柳江
彭轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Miaoyan Technology Co ltd
Original Assignee
Shenzhen Miaoyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Miaoyan Technology Co ltd filed Critical Shenzhen Miaoyan Technology Co ltd
Priority to CN202010878951.4A priority Critical patent/CN112135213B/zh
Publication of CN112135213A publication Critical patent/CN112135213A/zh
Application granted granted Critical
Publication of CN112135213B publication Critical patent/CN112135213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明涉及音频设备控制技术领域,具体公开了一种设备功耗低、音频音量与用户运动状态自适应的信息处理方法,包括以下步骤:步骤S201:获取当前运动特征信息,预处理特征信息,并记录相对应的时间;步骤S202:判断当前运动特征信息与非当前的其他预设工作模式是否匹配,若匹配,则启动计时窗口并记录当前运动状态的持续时间;步骤S203:判断计时窗口中记录的当前运动状态的持续时间是否超过切换至匹配成功工作模式的时间阈值,若超过,则切换至对应匹配成功的新工作模式状态;步骤S204:根据新工作模式状态提高、降低或关闭受话器的音频输出。

Description

一种基于音频穿戴设备的信息处理方法
技术领域
本发明涉及音频设备控制技术领域,特别是涉及一种基于音频穿戴设备的信息处理方法。
背景技术
随着智能设备和穿戴设备的发展与完善,音频穿戴设备不断向无线化、小型化、隐蔽化的趋势发展,基于音频获取的需要,用户也更加倾向长时间佩戴音频穿戴设备,如TWS(True Wireless Stereo)蓝牙耳机等。目前,在小型化音频穿戴设备的要求下,音频穿戴设备电池容量一般小于200mAh,传统的智能穿戴设备的功耗较高,从而使得电池更换和/或充电的间隔周期较短;另外,为了佩戴的舒适性,佩戴者需要在不同的运动状态下,调节音频穿戴设备的输出音频音量,如在运动时,提高音频输出音量以听清音频内容,在小憩时,降低音频输出音量以减小音频对用户休息的干扰,这样一来,需要频繁的调节设备的音量,增加了用户使用设备的难度,并降低了用户体验感。
发明内容
基于此,有必要针对设备功耗高及设备音量调节频繁造成的操作难度高的技术问题,提供一种设备功耗低、电池更换和/或充电的间隔周期延长且音频音量与用户运动状态自适应的基于音频穿戴设备的信息处理方法。
一种基于音频穿戴设备的信息处理方法,包括以下步骤:
步骤S201:获取当前运动特征信息,预处理特征信息,并记录相对应的时间;
步骤S202:判断当前运动特征信息与非当前的其他预设工作模式是否匹配,若匹配,则启动计时窗口并记录当前运动状态的持续时间;
步骤S203:判断所述计时窗口中记录的当前运动状态的持续时间是否超过切换至匹配成功工作模式的时间阈值,若超过,则切换至对应匹配成功的新工作模式状态;
步骤S204:根据新工作模式状态提高、降低或关闭所述受话器的音频输出。
在其中一个实施例中,预处理特征信息包括对当前运动特征信息进行滤波处理。
在其中一个实施例中,获取当前运动特征信息前,需重置所述计时窗口。
在其中一个实施例中,当前运动特征信息与非当前的其他预设工作模式不匹配时,重置所述计时窗口并重新获取下一运动特征信息。
在其中一个实施例中,所述步骤S203中,所述计时窗口记录的持续时间未超过切换至匹配成功工作模式的时间阈值时,重置所述计时窗口并重新获取下一运动特征信息。
在其中一个实施例中,调节所述受话器的音频输出后,存储记录各功能场景、各工作模式的切换起始时间与工作时长,并同步存储到外部终端及云服务器。
在其中一个实施例中,外部终端及云服务器根据存储记录的各功能场景、各工作模式的切换起始时间与工作时长以及其他数据信息生成设备使用报告。
实施本发明的基于音频穿戴设备的信息处理方法,通过获取用户的运动状态,当用户的运动状态变化时,检测到的当前运动状态信息发生改变,在当前运动特征信息与非当前的其他预设工作模式匹配成功,且新运动特征信息的持续时长超过切换至匹配成功工作模式的时间阈值时,音频穿戴设备将切换至新的工作模式,进而调节音频穿戴设备的受话器以预定音量输出音频,该过程中,通过对用户的运动状态进行分析并自动切换至相应的工作状态,避免了用户频繁手动调节音量造成的操作困难,体验感不足等问题;此外,通过运动状态的改变调节音量输出,使得音量大小适配用户的运动状态,解决了音频穿戴设备持续大功率输出造成的高功耗问题,有利于延长电池单次充电的使用时长并节约电能。
附图说明
图1为本发明的一个实施例中信息处理系统的模块结构示意图;
图2为本发明的一个实施例中信息处理系统的电路原理图;
图3为本发明的一个实施例中音频穿戴设备的结构示意图;
图4为本发明的一个实施例中信息处理系统的工作模式转换图;
图5为本发明的一个实施例中信息处理方法的流程图;
图6为本发明的另一个实施例中信息处理方法的逻辑判断图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施例的限制。
请参阅图1,本发明提供了一种设备功耗低、电池更换和/或充电的间隔周期延长且音频音量与用户运动状态自适应的基于音频穿戴设备的信息处理系统,包括音频穿戴设备100及与音频穿戴设备100通信连接的音频处理装置200,其中,音频穿戴设备100用于佩戴在用户的衣物或身体部位,以便为用户提供音频播放及助听服务,音频处理装置200用于接收音频穿戴设备100接入的用户运动状态信号以及由外部终端300接入的数据信号,并依据预设的程式对运动状态信号进行运算处理,以判断并切换音频穿戴设备100进入相应的工作模式,从而调节音频穿戴设备100输出的音频音量大小。
音频穿戴设备100包括用于检测用户的运动状态的传感器模块110、用于实现声波信号与电信号相互转换的语音模块120、用于与外部终端300通信连接并由外部终端300接入或向外部终端300传输数据信息流的通信模块130、用于接收上述各模块发送的信息并对信息进行处理的处理器模块140以及用于接收来自处理器模块140的信息并对相应的信息进行解码及功率放大的音频解码与功放器150。其中,传感器模块110包括加速度传感器、陀螺仪传感器、磁场传感器、触摸传感器或压力传感器中的一种或多种。优选的,传感器模块110为加速度传感器。加速度传感器是一种能够测量加速度的传感器,通常由质量块、阻尼器、弹性元件、敏感元件和适调电路等部分组成,加速度传感器在加速过程中通过对质量块所受惯性力的测量,利用牛顿第二定律获得加速度值,并将该加速度值传递至处理器模块140进行运算处理,以判断用户的运动状态。同样的,陀螺仪传感器、磁场传感器、触摸传感器或压力传感器等均用于在用户运动状态改变时输出变化的电平值,以利于处理器模块140进行运算处理。
语音模块120包括用于获取环境声音信号的送话器121、用于对送话器121接收的声音信号进行滤波处理的信号滤波处理电路122以及以预定音量输出声音信号的受话器123。需要说明的是,受话器123的输出原始声音可来源于送话器121,也可来源于外部终端300通过通信模块130传递至受话器123的音频信息。在此情况下,语音模块120主要用于采集环境中的声音信号并对环境中的信号进行放大处理,以便于听力受损的用户听清环境中的声响或利于一般用户扩大环境音效,实现音频穿戴设备100的助听或辅听功能。一实施例中,送话器121采用内置、外接或远程无线连接等方式设置,也就是说,送话器121既可以安装在音频穿戴设备100的内部,也可以安装在音频穿戴设备100外部以接收音频穿戴设备100周围环境的声音信号,还可以无线连接方式接收距离音频穿戴设备100较远位置的声音信号,实现对声音信号的远程监听。送话器121包括麦克风121a及模拟/数字转换器121b,该模拟/数字转换器121b负责把模拟信号转成处理器模块140能处理的数字信号,需要特别说明的是,如果麦克风121a的输出端已经为数字信号,则该数字信号无需经模拟/数字转换器121b处理,可直接传递至处理器模块140。
一实施例中,语音模块120还包括用于由外部扩展设备接入音频信号的音频输入接口(图未示)和/或向外部扩展设备传送音频信号的音频输出接口(图未示),音频输入接口将音频信号接入信号滤波处理电路122进行滤波处理,也就是说,音频输入接口及音频输出接口用于对音频穿戴设备100进行扩容,以扩大音频穿戴设备100的适用场景。需要说明的是,送话器121接收的声音信号及音频输入接口输入的音频信号还送入音频处理装置200中进行运算处理,以便于调节受话器123的输出音量。
通信模块130包括具有有线传输模块接口或/和无线传输模块接口的收发机131,以实现与外部终端300的数据信息交互,当然还可以包括其他可实现通信连接的接口或接口组合。一实施例中,外部终端300还通过通信连接的方式与服务器400连接,以便于将音频穿戴设备100传递的数据信息进一步传递至服务器400进行处理,音频穿戴设备100与外部终端300既可以通过有线连接也可以通过无线信号连接,相应的,外部终端300上需设有与收发机131进行数据交互的收发单元310以及与服务器400连接的通信单元320。外部终端300用于接收并将音频穿戴设备100发送的加速度及运动频次等传感器数据、计算结果、工作状态、音量及对应的时间轴等数据信息传递至服务器400,由服务器400对数据信息进行离线数据挖掘和自主学习,并将学习结果和优化后的参数经由外部终端300更新至音频穿戴设备100;外部终端300还用于将音频信息发送至音频穿戴设备100进行播放,也就是说,本发明的音频穿戴设备100既可以作为帮助听力障碍患者听声的助听设备及为用户提供声音放大的辅听设备,还可以用于接收外部终端300发送的音频信号,作为外部终端300的音频播放端使用。优选的,外部终端300包括但不限于手机、手表、电脑、播放器、收音机、电视机、助听/辅听器或其他具备语音输出功能的设备等;服务器400包括但不限于本地服务器、私有服务器、公有云服务器或服务器集群。
处理器模块140进一步包括用于存储音频穿戴设备100的程序代码、状态信息、数据结果和音频数据等信息的存储模块141以及用于运行音频处理装置200的算法与逻辑,计算和处理音频数据、传感器数据和外部响应的运算模块142。请参阅图2,一实施例中,处理器模块140为型号NRF52832的无线蓝牙处理器,即电路图中的U3,该处理器模块140用于进行逻辑控制与响应、算法运算和无线通信等。需要说明的是,该无线蓝牙处理器内部自带无线收发功能,因此,在使用无线蓝牙处理器作为处理器模块140时,无需再额外添加收发机131。此外,本实施例的无线蓝牙处理器需与外置的音频编解码器件,如电路图中标号为U9,型号为CS4345的音频编解码器件配合使用,以便于把被编码的数字音频信号转换成能直接驱动受话器123的语音信号。进一步的,音频穿戴设备100还包括为处理器模块140提供时钟的时间模块160,时间模块160包括用于为无线蓝牙处理器U3,即处理器模块140提供32MHz主时钟的晶体X1以及用于为处理器模块140提供32.768KHz时钟的晶体X2。在该电路原理图中,音频解码与功放器150,即电路图中的U9为CS4345,通过I2S接口电连接到处理器模块140;受话器123即电路图中U7和U8分别电连接到音频解码与功放器150的左右声道输出接口;传感器模块110,即电路图中U4为KX022,通过I2C接口电连接到处理器模块140;送话器121,即电路图中U1和U2为SPH0641LM4H,通过PDM接口电连接到处理器模块140。
请参阅图3,一实施例中,音频穿戴设备100还包括外壳170,优选的,该外壳170呈后挂式U形结构,即音频穿戴设备100采用后挂式U形外壳170,用以封装音频穿戴设备100及音频处理装置200的多个模块,实现对各模块的保护,并防止漏电事故发生造成的威胁用户安全问题。在实际生产中,音频穿戴设备100还包括但不限于无线耳机、有线耳机、助听辅听耳机、VR头盔设备、智能眼镜以及各类具有音频功能的穿戴式设备等,音频穿戴设备100的外壳170也包括但不限于头戴类型、后挂类型、耳挂类型、耳塞类型以及骨导类型等结构,于此不再赘述。
请进一步参阅图3,音频穿戴设备100后挂式U形结构的一端设有左侧耳机171,其另一端设置有右侧耳机172,左侧耳机171上设有左耳受话器171a,右侧耳机172上设有右耳受话器172a以及设置在右耳受话器172a连接线路上的第一送话器172b,右耳机172上临近其底部位置还安装有第二送话器172c,这样,两个送话器可以接收不同角度的环境声音,以提升音频穿戴设备100获取的声音源信号的强度。进一步的,音频穿戴设备100还包括收容于外壳170并与处理器模块140电连接的人机交互模块180以及装设于外壳170外侧、分别向人机交互模块180发送指令的电源开关181、场景切换开关182、音量增加开关183、音量减小开关184以及功能切换开关185。优选的,人机交互模块180与运算模块142电连接,人机交互模块180包括但不限于有线控制模式、无线控制模式等,主要用于进行对应的人机交互操作与呈现。电源开关181用于向人机交互模块180发送指令以控制音频穿戴设备100的启停;功能切换开关185用于在音频穿戴设备100接收外部终端300传递的音频信号时,控制音频上下曲播放、快进或快退以及控制接挂电话等功能;音量减小开关184、音量增加开关183用于手动调节音频穿戴设备100输出音频音量的大小;场景切换开关182用于向处理器模块140发出指令以控制音频穿戴设备100进入助听、辅听、外部终端300的音频播放,如接打电话等模式。右侧耳机172的内腔还设有PCB板190,用于集成安装音频穿戴设备100的其余各受控元件,电池171b位于左侧耳机171的内腔,并通过电源导线171c向PCB板190供电。
进一步的,场景切换开关182用于控制音频穿戴设备100分别进入多个不同功能场景的助听模式以及多个不同功能场景的辅听模式,不同功能场景主要根据用户的听力受损情况或用户所需要的预定环境下的音量播放情况划分等级,该等级的划分可由外部终端300将音频穿戴设备100发送的用户使用设备的情况至服务器400后,经服务器400挖掘、分析以及深度学习形成。需要说明的是,在助听模式时,音频穿戴设备100独立于外部终端300工作,通过放大滤波处理第一送话器172b和第二送话器172c的音频,然后通过音频解码与功放器150输出到左耳受话器171a及右耳受话器172a,在辅听模式下,音频穿戴设备100把通过无线方式获取到的外部终端300的音频数据进行处理,并通过音频解码与功放器150输出到左耳受话器171a及右耳受话器172a。
音频处理装置200包括运动特征获取模块210、特征信息匹配模块220、计时模块230、工作模式切换模块240以及语声呈现模块250,其中,运动特征获取模块210用于接收并滤波分析处理传感器模块110检测的运动状态数据,获得用户的当前运动状态信息;特征信息匹配模块220用于识别和匹配运动特征获取模块210检测的当前运动状态信息,判断当前运动状态信息是否与非当前的其他预设工作模式匹配;如果匹配,则启动计时窗口记录当前运动状态的持续时间;计时模块230用于记录某个新运动特征信息的持续时长,运动特征状态的起始时间以及音频穿戴设备100工作模式的切换时间;工作模式切换模块240用于判断计时窗口中记录的某个新运动特征信息的持续时长是否超过切换至匹配成功工作模式的时间阈值,若超过,则切换音频穿戴设备100的工作模式至对应匹配成功的新工作模式;语声呈现模块250用于根据音频穿戴设备100的当前工作模式及功能场景调整受话器123的音频音量输出。
一实施例中,语声呈现模块250调整运算模块142中数字音频的输出音量或调整受话器123的功放器放大倍数或调整送话器121和音频输入接口的幅度以调节受话器123的音频音量输出。也就是说,语声呈现模块250调整音频穿戴设备100的音频输出途径包括三种方式,即调整音频穿戴设备100的运算模块142中数字音频的输出音量,对整体频响范围内的幅度进行等比的放大或缩小;调整音频穿戴设备100的语音模块120中受话器123的功放器放大倍数;调整音频穿戴设备100的语音模块120中送话器121和音频输入接口的幅度。需要特别说明的是,需保证调整后音频穿戴设备100的音频输出能量不会对佩戴者的耳朵等听觉系统产生短时间和/或长时间的不利影响和损害。
请参阅图4,一实施例中,工作模式切换模块240控制音频穿戴设备100在剧烈运动状态下进入音频输出幅度提升的加强模式S1;控制音频穿戴设备100在一般运动状态下进入常规模式S2;控制音频穿戴设备100在非运动状态下进入音频输出幅度降低的待机模式S3;控制音频穿戴设备100在待机模式S3持续预定时间后进入休眠模式S4。具体的,当用户处于跑步、健身、爬山、游泳等活动较为剧烈的运动状态时,传感器模块110检测并传送至运动特征获取模块210的用户的运动加速度值波动较大,特征信息匹配模块220将加速度最大波动幅值、最大波动幅值出现的频次、边沿的陡峭程度等参数分别与预设的标准值进行比较,当达到该标准值匹配时,即切换至加强模式S1并逐渐增加音量的上调幅度,从而使得音频音量与用户的剧烈运动状态相适配,以减小因人的心跳、脉搏及呼吸加强以及肢体活动时带动衣物产生的干扰声音对用户听声的影响。
当用户处于一般运动状态,如进行散步、做家务、看电视等较为温和的活动时,工作模式切换模块240控制音频穿戴设备100进入常规模式S2,即控制受话器123以中等音量输出。当用户处于静坐、阅读、小憩等非运动状态时,用户的活动量极小,传感器模块110检测到的加速度值的变化幅度加权值接近零值,在此情况下,工作模式切换模块240控制音频穿戴设备100进入待机模式S3,避免较大音量输出时对用户的干扰,且较低的音量输出产生的功耗较低,有利于延长电池171b的使用时长。随着运动状态由小憩进入到睡眠后,或类似的运动状态变得极其的安静后,音频穿戴设备100将进入休眠模式S4,在此情况下,工作模式切换模块240向语声呈现模块250发出指令,以控制关闭音频相关功能,即断开收发机131与外部终端300的连接,并控制受话器123关闭输出,避免用户在未收听音频信息时造成的电量浪费。
一实施例中,常规模式S2切换至加强模式S1的时间阈值设定为t1,加强模式S1切换回常规模式S2的时间阈值设定为t2;常规模式S2切换至待机模式S3的时间阈值设定为t3,待机模式S3切换回常规模式S2的时间阈值设定为t4;待机模式S3切换至休眠模式S4的时间阈值设定为t5;休眠模式S4切换至常规模式S2的时间阈值设定为t6,即经过指定的时间阈值后,音频穿戴设备100由一种工作模式切换至另一工作模式,以节约电量并保证音量输出与用户运动状态自动适配,各时间阈值的设置由时间模块160控制。时间阈值t1~t6可以相同,也可以不同,在实际使用时,音频穿戴设备100可将信息传输至与外部终端300通信连接的服务器400,以便于对数据进行自主学习和动态更新,并反馈调节音频穿戴设备100内设定的时间阈值t1~t6的数值,使得各时间阈值更接近用户的实际运动状态。
实施本发明的音频穿戴设备100,基于传感器技术和信号处理技术,采用感知与数字信号处理相结合的方法,通过自动监测佩戴者的运动状态信息,来处理音频数据,通过自动切换工作模式状态,调节对应工作模式下的音频输出音量,具有根据用户运动状态,自适应调节音频输出音量,以及自适应降低音频穿戴设备100功耗的特点,以提升听声体验并延长设备的更换电池和/或充电的间隔周期。
实施本发明的基于音频穿戴设备的信息处理系统,通过传感器模块110检测用户的运动状态,当用户的运动状态变化时,运动特征获取模块210检测到的当前运动状态信息发生改变,在经由特征信息匹配模块220匹配成功的情况下,且新运动特征信息的持续时长超过切换至匹配成功工作模式的时间阈值时,工作模式切换模块240将音频穿戴设备100切换至新的工作模式,进而由语声呈现模块250控制受话器123以预定音量输出音频,该过程中,音频穿戴设备100输出声音的音量调节由音频处理装置200自动控制,避免了用户频繁手动调节音量造成的操作困难,体验感不足等问题;此外,信息处理系统通过运动状态的改变调节音量输出,使得音量大小适配用户的运动状态,解决了信息处理系统持续大功率输出造成的高功耗问题,有利于延长电池171b单次充电的使用时长并节约电能。
请参阅图5,本发明还公开了一种基于音频穿戴设备的信息处理方法,包括以下步骤:
步骤S201:获取当前运动特征信息,预处理特征信息,并记录相对应的时间。具体的,运动特征信息主要依据传感器模块110获得,特别是与用户姿态相关的传感器数据,例如加速度传感器数据,通过分析加速度传感器数据,提取出对应的运动特征信息,如加速度大小,加速度的最大波动幅值,最大波动幅值出现的频次、边沿的陡峭程度及其他相关数据。
具体地,对通过采集到的加速度数据进行计算时,因为设备佩戴角度问题和用户的运动姿势的变化,无法预知加速度的变化在哪一个方向发生,如果只判断某一轴的加速度数据变化曲线,将会非常的不准确,故可以采用多个方向的数据曲线进行统计运算。如对三轴加速度传感器的加速度数据进行处理时,采用信号向量模(Signal Vector Module,SVM)特征量可以将空间的加速度变化集合为其他方向的矢量。加速度信号向量模(Acceleration Signal Vector Module,ASVM)如下列公式所示:
Figure BDA0002653511550000101
Figure BDA0002653511550000102
Figure BDA0002653511550000103
Figure BDA0002653511550000104
ASVMx=ax
ASVMy=ay
ASVMz=az
其中,ax,ay,az分别为加速度传感器在空间坐标系x,y,z三个垂直轴方向的加速度数据经过滤波后的加速度信号,合成后的加速度一共有7条对应的加速度时间曲线。在各合成加速度时间曲线上,取一滑动时间窗口T内的最大值和最小值,按照各加速度时间曲线对应的加速度的最大值与最小值差值的绝对值从大到小依次排序,取位列前三的曲线进行下一步的数据分析,譬如幅度突变的频率、变化曲率等,以提升数据的可靠性。需要说明的是,其中T是在一定范围内变化的数值。
步骤S202:判断当前运动特征信息与非当前的其他预设工作模式是否匹配,若匹配,则启动计时窗口并记录当前运动状态的持续时间。具体的,将当前运动特征信息分别与预存的各工作模式对应的运动特征信息进行对比、匹配。如果匹配成功,且匹配成功的工作模式非当前工作模式,则开启计时窗口。需要特别说明的是,预存的工作模式对应的运动特征信息可以自主学习和动态更新,自主学习和动态更新的过程可在音频穿戴设备100中独立完成,也可在外部终端300及服务器400的辅助下完成。
步骤S203:判断计时窗口中记录的当前运动状态的持续时间是否超过切换至匹配成功工作模式的时间阈值,若超过,则切换至对应匹配成功的新工作模式状态。在此情况下,音频穿戴设备100的功能场景保持不变,只调整音频穿戴设备100的工作模式。
步骤S204:根据新工作模式状态提高、降低或关闭受话器123的音频输出。具体的,依据工作模式的切换轨迹,按照预存的音频调整策略,调整音频穿戴设备100的音频输出,该工作模式的切换轨迹及音频调整策略参照前文中关于音频穿戴设备100在不同工作模式之间依据相应时间阈值进行切换的方法,预存的音频调整策略也可以经由音频穿戴设备100或由音频穿戴设备100在外部终端300及服务器400的辅助下进行自主学习和动态更新完成,于此不再赘述。
请参阅图6,图6示出了本发明的信息处理方法的另一个实施例的逻辑判断图,包括以下步骤:
步骤S301:重置计时窗口。具体的,配置时间模块160,清零计数器的数据,消除已完成的运动对后续运动检测及运动状态判断的影响,以保证工作模式切换作业的可靠性。
步骤S302:从传感器模块110获取传感数据。在信息处理系统的安装作业中,传感器模块110与音频穿戴设备100刚性耦合,二者在用户活动时同步运动,因此,通过获取传感器模块110的数据,即可反映出音频穿戴设备100及用户的运动状态。
步骤S303:根据传感数据提取当前运动特征信息,确定当前运动状态,并记录当前运动所对应的时间,如当前运动开始的时间及持续时长。具体的,当前运动特征信息包括当前运动的加速度值、加速度的最大波动幅值以及最大波动幅值出现的频次、边沿的陡峭程度等参数。在实际处理作业中,当前运动特征信息提取前需要对传感器数据进行滤波处理操作,以减小线路中的谐波干扰,从而提升提取的当前运动特征信息的可靠性。
步骤S304:判断当前运动特征信息与非当前的其他预设工作模式是否匹配,即判断当前运动特征信息的各数据是否达到其他预设工作模式的预设数据值,若模式匹配成功,则进入步骤S305,若不匹配,则返回步骤S301,重置计时窗口并进行下一轮数据获取与匹配运算。
步骤S305:启动计时窗口。
步骤S306:计时窗口启动后,判断当前运动特征与匹配成功的工作模式特征持续相匹配的时间,是否超过切换至匹配成功的工作模式的时间阈值,即匹配持续的时间是否达到可以切换至与之匹配的工作模式的时间阈值,若超过,则进入步骤S307,若未超过,则返回步骤S301,重置计时窗口并进行下一轮数据获取与匹配运算。
步骤S307:保持功能场景不变,将工作模式切换至匹配成功的工作模式。
步骤S308:切换至匹配成功的新的工作模式后,关闭计时窗口。具体的,还需记录工作模式的切换时间并清零计数器的数据,以利于下一次数据检测及工作模式切换作业的进行。
步骤S309:保持音频穿戴设备100的功能场景不变,并根据对应的工作模式,提高、降低或关闭受话器123的音频输出。
步骤S310:调节受话器123的音频输出后,存储记录各功能场景、各工作模式的切换起始时间与工作时长,并同步存储到外部设备300及服务器400。在实际处理时,数据的传递和存储可以是实时的,也可以是非实时的。
步骤S311:给用户生成设备使用报告,指导用户合理使用设备,提升用户体验。具体的,外部终端300及服务器400根据存储记录的用户运动状态信息、各功能场景、各工作模式的切换起始时间与工作时长以及其他数据信息,进行挖掘和分析,生成设备使用报告,包括使用报告及指导意见等文件。此外,还可针对不同的用户群设计不同的产品类型,通过估算不同用户群的使用习惯,计算出对应的电池容量,指导设计出更加小巧美观的产品。
实施本发明的基于音频穿戴设备的信息处理方法,通过从传感器模块110获取用户的运动状态,当用户的运动状态变化时,检测到的当前运动状态信息发生改变,在当前运动特征信息与非当前的其他预设工作模式匹配成功,且新运动特征信息的持续时长超过切换至匹配成功工作模式的时间阈值时,音频穿戴设备100将切换至新的工作模式,进而调节音频穿戴设备100的受话器123以预定音量输出音频,该过程中,通过对用户的运动状态进行分析并自动切换至相应的工作状态,避免了用户频繁手动调节音量造成的操作困难,体验感不足等问题;此外,通过运动状态的改变调节音量输出,使得音量大小适配用户的运动状态,解决了音频穿戴设备100持续大功率输出造成的高功耗问题,有利于延长电池171b单次充电的使用时长并节约电能。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于音频穿戴设备的信息处理方法,其特征在于,其所基于的信息处理系统包括音频穿戴设备及与音频穿戴设备通信连接的音频处理装置,音频穿戴设备包括用于检测用户的运动状态的传感器模块、用于实现声波信号与电信号相互转换的语音模块、用于与外部终端通信连接并由外部终端接入或向外部终端传输数据信息流的通信模块、用于接收上述各模块发送的信息并对信息进行处理的处理器模块以及用于接收来自处理器模块的信息并对相应的信息进行解码及功率放大的音频解码与功放器;
语音模块包括用于获取环境声音信号的送话器、用于对送话器接收的声音信号进行滤波处理的信号滤波处理电路以及以预定音量输出声音信号的受话器,受话器的输出原始声音来源于送话器,或来源于外部终端通过通信模块传递至受话器的音频信息;送话器安装在音频穿戴设备的内部,或安装在音频穿戴设备外部以接收音频穿戴设备周围环境的声音信号,或以无线连接方式接收距离音频穿戴设备远位置的声音信号,对声音信号远程监听;
音频穿戴设备还包括场景切换开关,场景切换开关用于控制音频穿戴设备分别进入多个不同功能场景的助听模式以及多个不同功能场景的辅听模式,不同功能场景主要根据用户的听力受损情况或用户所需要的预定环境下的音量播放情况划分等级,该等级的划分由外部终端将音频穿戴设备发送的用户使用设备的情况至服务器后,经服务器挖掘、分析以及深度学习形成;
音频处理装置包括运动特征获取模块、特征信息匹配模块、计时模块、工作模式切换模块以及语声呈现模块,其中,运动特征获取模块用于接收并滤波分析处理传感器模块检测的运动状态数据,获得用户的当前运动状态信息;特征信息匹配模块用于识别和匹配运动特征获取模块检测的当前运动状态信息,判断当前运动状态信息是否与非当前的其他预设工作模式匹配;如果匹配,则启动计时窗口记录当前运动状态的持续时间;计时模块用于记录某个新运动特征信息的持续时长,运动特征状态的起始时间以及音频穿戴设备工作模式的切换时间;工作模式切换模块用于判断计时窗口中记录的某个新运动特征信息的持续时长是否超过切换至匹配成功工作模式的时间阈值,若超过,则切换音频穿戴设备的工作模式至对应匹配成功的新工作模式;语声呈现模块用于根据音频穿戴设备的当前工作模式及功能场景调整受话器的音频音量输出;语声呈现模块调整运算模块中数字音频的输出音量或调整受话器的功放器放大倍数或调整送话器和音频输入接口的幅度以调节受话器的音频音量输出;
当用户处于跑步、爬山、游泳活动剧烈的运动状态时,传感器模块检测并传送至运动特征获取模块的用户的运动加速度值波动大,特征信息匹配模块将加速度最大波动幅值、最大波动幅值出现的频次、边沿的陡峭程度参数分别与预设的标准值进行比较,当达到该标准值匹配时,切换至加强模式S1并增加音量的上调幅度,使得音频音量与用户的剧烈运动状态相适配,以减小干扰声音对用户听声的影响;
当用户进行散步、做家务、看电视温和的活动时,工作模式切换模块控制音频穿戴设备进入常规模式S2,控制受话器以中等音量输出;当用户处于静坐、阅读、小憩非运动状态时,传感器模块检测到的加速度值的变化幅度加权值接近零值,工作模式切换模块控制音频穿戴设备进入待机模式S3,以降低功耗;随着运动状态由小憩进入到睡眠后,音频穿戴设备将进入休眠模式S4,工作模式切换模块向语声呈现模块发出指令,以控制关闭音频相关功能,断开收发机与外部终端的连接,并控制受话器关闭输出;
所述信息处理方法包括以下步骤:
步骤S201:获取当前运动特征信息,预处理特征信息,并记录相对应的时间;当前运动特征信息包括当前运动的加速度值、加速度的最大波动幅值以及最大波动幅值出现的频次、边沿的陡峭程度;
步骤S202:判断当前运动特征信息与非当前的其他预设工作模式是否匹配,若匹配,则启动计时窗口并记录当前运动状态的持续时间;
步骤S203:判断所述计时窗口中记录的当前运动状态的持续时间是否超过切换至匹配成功工作模式的时间阈值,若超过,则切换至对应匹配成功的新工作模式状态;音频穿戴设备的功能场景保持不变,调整音频穿戴设备的工作模式;
步骤S204:根据新工作模式状态提高、降低或关闭受话器(123)的音频输出;依据工作模式的切换轨迹,按照预存的音频调整策略,调整音频穿戴设备的音频输出;常规模式S2切换至加强模式S1的时间阈值设定为t1,加强模式S1切换回常规模式S2的时间阈值设定为t2;常规模式S2切换至待机模式S3的时间阈值设定为t3,待机模式S3切换回常规模式S2的时间阈值设定为t4;待机模式S3切换至休眠模式S4的时间阈值设定为t5;休眠模式S4切换至常规模式S2的时间阈值设定为t6,经过指定的时间阈值后,音频穿戴设备由一种工作模式切换至另一工作模式,以节约电量并保证音量输出与用户运动状态自动适配,各时间阈值的设置由时间模块控制。
2.根据权利要求1所述的信息处理方法,其特征在于,预处理特征信息包括对当前运动特征信息进行滤波处理。
3.根据权利要求1所述的信息处理方法,其特征在于,获取当前运动特征信息前,需重置所述计时窗口。
4.根据权利要求3所述的信息处理方法,其特征在于,当前运动特征信息与非当前的其他预设工作模式不匹配时,重置所述计时窗口并重新获取下一运动特征信息。
5.根据权利要求3所述的信息处理方法,其特征在于,所述步骤S203中,所述计时窗口记录的持续时间未超过切换至匹配成功工作模式的时间阈值时,重置所述计时窗口并重新获取下一运动特征信息。
6.根据权利要求1所述的信息处理方法,其特征在于,调节所述受话器(123)的音频输出后,存储记录各功能场景、各工作模式的切换起始时间与工作时长,并同步存储到外部终端(300)及服务器(400)。
7.根据权利要求6所述的信息处理方法,其特征在于,外部终端(300)及服务器(400)根据存储记录的各功能场景、各工作模式的切换起始时间与工作时长以及其他数据信息生成设备使用报告。
CN202010878951.4A 2020-08-27 2020-08-27 一种基于音频穿戴设备的信息处理方法 Active CN112135213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010878951.4A CN112135213B (zh) 2020-08-27 2020-08-27 一种基于音频穿戴设备的信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010878951.4A CN112135213B (zh) 2020-08-27 2020-08-27 一种基于音频穿戴设备的信息处理方法

Publications (2)

Publication Number Publication Date
CN112135213A CN112135213A (zh) 2020-12-25
CN112135213B true CN112135213B (zh) 2022-11-29

Family

ID=73847462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010878951.4A Active CN112135213B (zh) 2020-08-27 2020-08-27 一种基于音频穿戴设备的信息处理方法

Country Status (1)

Country Link
CN (1) CN112135213B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304964B (zh) * 2023-05-25 2023-08-01 北京和润恺安科技发展股份有限公司 一种声暴露计的测量数据处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685305A (zh) * 2011-03-14 2012-09-19 深圳市同洲软件有限公司 一种移动终端切换情景模式的方法及移动终端
CN104391561A (zh) * 2014-09-30 2015-03-04 英华达(上海)科技有限公司 穿戴式设备进行模式切换的方法及该穿戴式设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9612862B2 (en) * 2014-06-24 2017-04-04 Google Inc. Performing an operation during inferred periods of non-use of a wearable device
US10984341B2 (en) * 2017-09-27 2021-04-20 International Business Machines Corporation Detecting complex user activities using ensemble machine learning over inertial sensors data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685305A (zh) * 2011-03-14 2012-09-19 深圳市同洲软件有限公司 一种移动终端切换情景模式的方法及移动终端
CN104391561A (zh) * 2014-09-30 2015-03-04 英华达(上海)科技有限公司 穿戴式设备进行模式切换的方法及该穿戴式设备

Also Published As

Publication number Publication date
CN112135213A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN111512646B (zh) 低延迟音频增强的方法和设备
CN109451390B (zh) 一种tws耳机及其控制方法、装置、设备
EP2840810B1 (en) A hearing assistance system with a low-power mode
US10959008B2 (en) Adaptive tapping for hearing devices
CN110839190B (zh) 一种耳机佩戴检测方法、装置、耳机及可读存储介质
US20220335924A1 (en) Method for reducing occlusion effect of earphone, and related apparatus
CN110175014B (zh) 一种无线耳机音量控制方法、系统及无线耳机和存储介质
CN111492672B (zh) 听力设备及其操作方法
US20210350823A1 (en) Systems and methods for processing audio and video using a voice print
CN112992169A (zh) 语音信号的采集方法、装置、电子设备以及存储介质
TWI692253B (zh) 耳機組控制方法和耳機組
US20240163603A1 (en) Smart glasses, system and control method thereof
CN108683790B (zh) 语音处理方法及相关产品
CN113852899A (zh) 包括助听器和处理设备的听力系统
CN112135213B (zh) 一种基于音频穿戴设备的信息处理方法
CN113395647A (zh) 具有至少一个听力设备的听力系统及运行听力系统的方法
CN212749771U (zh) 一种基于音频穿戴设备的信息处理系统
WO2015026859A1 (en) Audio apparatus and methods
CN106686496B (zh) 一种可穿戴设备的播放模式控制方法及可穿戴设备
CN113329312A (zh) 确定话轮转换的助听器
CN109361987B (zh) 一种运动耳机及其控制方法、装置、设备
CN212936205U (zh) 一种助听设备及助听系统
CN114120950B (zh) 一种人声屏蔽方法和电子设备
CN111246326B (zh) 耳机组控制方法和耳机组
US20230396938A1 (en) Capture of context statistics in hearing instruments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant