CN109756834A - 一种音频骨传导处理方法、装置和系统 - Google Patents

一种音频骨传导处理方法、装置和系统 Download PDF

Info

Publication number
CN109756834A
CN109756834A CN201811315547.5A CN201811315547A CN109756834A CN 109756834 A CN109756834 A CN 109756834A CN 201811315547 A CN201811315547 A CN 201811315547A CN 109756834 A CN109756834 A CN 109756834A
Authority
CN
China
Prior art keywords
audio
food
bone
audio data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811315547.5A
Other languages
English (en)
Other versions
CN109756834B (zh
Inventor
杨沁沁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN109756834A publication Critical patent/CN109756834A/zh
Application granted granted Critical
Publication of CN109756834B publication Critical patent/CN109756834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请提供一种音频骨传导处理方法、装置和系统。该音频骨传导装置,设置在用于接触使用者咬合部位的设备上,包括:采集器,用于采集食物图像信息;收发器,用于将所述食物图像信息发送给音频处理设备,并获取与所述食物图像信息对应第一音频数据;控制器,用于在确定所述收发器接收到的所述第一音频数据时,触发骨传导器生成与所述音频数据对应第一微振动;所述骨传导器,用于生成所述第一微振动,以使得所述使用者在其牙齿碰触所述设备时听到所述第一微振动对应的音频。本方案能够实现在没有音频播放设备的情况下,以骨传导技术提升用户对食物的体验。

Description

一种音频骨传导处理方法、装置和系统
技术领域
本申请涉及通信技术,尤其涉及一种音频骨传导处理方法、装置和系统。
背景技术
骨传导技术是借助于接触人体骨骼,使微弱的声波传导到内耳的一种技术,即:使声波直接经颅骨途径使外淋巴发生相应波动,并激动耳蜗的螺旋器产生听觉。
目前,骨传导技术主要用于医学领域以弥补人类的听力不足。如骨传导式助听器、骨传导式耳机等。但是,在更大的范围内,例如:信息感知、交互方面,有碍于进一步的开发,骨传导技术还没有得到更好的应用。
发明内容
本申请提供一种音频骨传导处理方法、装置和系统,用以实现在没有音频播放设备的情况下,以骨传导技术提升用户对食物的体验。
本申请的第一方面提供了一种音频骨传导装置,设置在用于接触使用者咬合部位的设备上,包括:
采集器,用于采集食物图像信息;
收发器,用于将所述食物图像信息发送给音频处理设备,并获取与所述食物图像信息对应第一音频数据;
控制器,用于在确定所述收发器接收到的所述第一音频数据时,触发骨传导器生成与所述音频数据对应第一微振动;
所述骨传导器,用于生成所述第一微振动,以使得所述使用者在其牙齿碰触所述设备时听到所述第一微振动对应的音频。
可选地,还包括:模式选择器;则
所述控制器,还用于识别所述使用者对所述模式选择器的操作,以获取对应的模式标识,并触发所述收发器,将所述模式标识发送给音频处理设备;
所述收发器,还用于获取与所述模式标识和所述食物图像对应的第二音频数据;
所述控制器,还用于在确定所述收发器接收到的所述第二音频数据时,触发所述骨传导器生成与所述音频数据对应第二微振动,以使得使用者在其牙齿碰触所述设备时听到所述第二微振动对应的音频。
可选地,所述模式选择器包括如下至少两个单元:
用于表示音乐播放的单元,用于表示健康提醒的单元,和用于表示音乐播放和健康提醒的单元。
可选地,还包括:
压力模组器,用于获取所述设备被接触的压力;
则所述控制器,具体用于在确定所述压力模组器获取到所述压力时,触发所述采集器采集食物图像信息。
可选地,所述压力模组器包括:
用于设置在所述设备的手柄处的第一压力传感器;以及
用于设置在所述设备的使用者咬合部位的第二压力传感器。
可选地,在所述控制器基于所述第一压力传感器获取的压力,触发所述采集器采集食物图像信息时,
所述控制器,还具体用于在确定所述收发器接收到所述第一音频数据或第二音频数据,且确定所述第二压力传感器获取到压力时,触发所述骨传导器生成第一微振动或第二微振动。
可选地,所述收发器还用于接收所述音频处理设备发送的咬合次数请求;则
所述控制器还用于基于所述第二压力传感器获取的压力,获取对应的咬合次数,并触发所述收发器将所述咬合次数发送给所述音频处理设备。
可选地,还包括:充电装置。
可选地,所述采集器包括如下至少一种:
摄像单元、红外成像单元和紫外成像单元。
本申请的第二方面提供了一种音频处理设备,包括:
收发器,用于接收音频骨传导装置发送的食物图像信息;
处理器,用于获取与所述食物图像信息对应的第一音频数据;
所述收发器,还用于将所述第一音频数据发送给所述音频骨传导装置。
可选地,所述处理器具体用于:
对所述食物图像信息进行识别处理,以获取所述食物的表面特征;
获取与所述食物的表面特征对应的第一音频数据。
可选地,所述收发器还用于接收所述音频骨传导装置发送的模式标识;
则所述处理器具体用于:
对所述食物图像信息进行识别处理,以获取所述食物的表面特征;
获取与所述食物的表面特征和所述模式标识对应的第二音频数据,并触发所述收发器将所述第二音频数据发送给所述音频骨传导装置。
可选地,还包括:
监测器,用于监测使用者当前所处的环境信息;
则所述处理器具体用于:
对所述食物图像信息进行识别处理,以获取所述食物的表面特征;
获取与所述食物的表面特征和所述环境信息对应的第三音频数据,并触发所述收发器将所述第三音频数据发送给所述音频传导装置。
可选地,所述处理器具体用于触发所述收发器,将所述食物的表面特征、或者所述食物的表面特征和模式标识,或者所述食物的表面特征和环境信息发送给音频云端服务器,并通过所述收发器从所述音频云端服务器获取所述第一音频数据,第二音频数据或者第三音频数据。
可选地,所述处理器还用于:
在确定所述模式识别为健康提醒模式标识时,触发计时器计时;
在确定所述计时器记录时长期间,所述收发器持续收到所述食物图像信息,且所述计时器记录时长满足预设时长时,生成停止进食的音频数据,并触发所述收发器将所述停止进食的音频数据发送给所述音频骨传导器。
可选地,所述处理器还用于:
在确定所述模式识别为健康提醒模式标识时,从所述音频骨传导装置获取使用者的咬合次数;
在确定所述咬合次数满足预设次数时,生成停止进食的音频数据,并触发所述收发器将所述停止进食的音频数据发送给所述音频骨传导器。
可选地,所述食物的表面特征包括如下至少一种:
食物表面的纹理、食物形状、食物颜色、食物的包装表面纹理、食物的包装形状、食物的包装颜色以及食物的包装上的识别信息。
可选地,所述收发器还用于接收所述音频骨传导装置的标识;
则所述控制器还用于触发所述收发器将所述第一音频数据发送给与所述音频骨传导装置的标识对应的音频骨传导装置。
本申请的第三方面提供了一种设备,包括:包括用于接触使用者咬合的部位,还包括:如上述所述的音频骨传导装置。
本申请的第四方面提供了一种音频骨传导系统,包括:设置在用于接触使用者咬合部位的设备上的音频骨传导装置,以及如上述所述的音频处理设备;
其中,所述音频骨传导装置如上述所述的音频骨传导装置。
可选地,还包括:音频云端服务器,用于接收所述食物的表面特征、或者所述食物的表面特征和模式标识,或者所述食物的表面特征和环境信息,并获取对应的第一音频数据、第二音频数据和第三音频数据。
本申请的第五方面提供了一种音频骨传导处理方法,包括:
采集食物图像信息;
将所述食物图像信息发送给音频处理设备,并获取与所述食物图像信息对应的第一音频数据;
生成与所述音频数据对应的第一微振动,以使得使用者在其牙齿碰触用于接触使用者咬合部位的设备时听到所述第一微振动对应的音频。
可选地,还包括:
识别所述使用者对所述模式选择器的操作,以获取对应的模式标识;
则所述将所述食物图像信息发送给音频处理设备,包括:
将所述食物图像信息和所述模式标识发送给所述音频处理设备;
则所述方法还包括:
获取与所述模式标识和所述食物图像对应的第二音频数据,并生成与所述第二音频数据对应第二微振动,以使得所述使用者在其牙齿碰触所述设备时听到所述第二微振动对应的音频。
可选地,所述模式标识包括如下至少两种:
音乐播放标识、健康提醒标识,以及音频播放和健康提醒标识。
可选地,所述方法还包括:
获取所述设备被接触的压力;
则所述采集食物图像信息,包括:
在确定获取到所述压力时,采集食物图像信息。
可选地,所述获取所述设备被接触的压力,包括:分别获取所述设备的手柄处的第一压力,以及所述设备的使用者咬合部分的第二压力。
可选地,在确定获取到所述第一压力,采集所述食物图像信息时,所述生成与所述第一音频数据对应的第二微振动,或者生成与所述第二音频数据对应第二微振动包括:
在确定接收到所述第一音频数据或第二音频数据,且获取到第二压力时,生成所述第一微振动或第二微振动。
可选地,所述方法还包括:
接收所述音频处理设备发送的咬合次数请求,
根据获取到的所述第二压力,获取对应的咬合次数,并将所述咬合次数发送给所述音频处理设备。
本申请的第六方面提供了一种音频骨传导处理方法,包括:
接收音频骨传导装置发送的食物图像信息;
获取与所述食物图像信息对应的第一音频数据;
将所述第一音频数据发送给所述音频骨传导装置。
可选地,所述获取与所述食物图像信息对应的第一音频数据,包括:
所述食物图像信息进行识别处理,以获取所述食物的表面特征;
获取与所述食物的表面特征对应的第一音频数据。
可选地,所述方法还包括:
接收所述音频骨传导装置发送的模式标识;
则所述获取与所述食物图像信息对应的第一音频数据,包括:
对所述食物图像信息进行识别处理,以获取所述食物的表面特征;
获取与所述食物的表面特征和所述模式标识对应的第二音频数据;
则所述方法还包括:将所述第二音频数据发送给所述音频骨传导装置
可选地,所述方法还包括:
监测使用者当前所处的环境信息;
则所述获取与所述食物图像信息对应的第一音频数据,包括:
对所述食物图像信息进行识别处理,以获取所述食物的表面特征;
获取与所述食物的表面特征和所述环境信息对应的第三音频数据;
则所述方法还包括:将所述第三音频数据发送给所述音频传导装置。
可选地,所述获取与所述食物的表面特征对应的第一音频数据,或者获取与所述食物的表面特征和所述模式标识对应的第二音频数据,或者获取与所述食物的表面特征和所述环境信息对应的第三音频数据,包括:
将所述食物的表面特征、或者所述食物的表面特征和模式标识,或者所述食物的表面特征和环境信息发送给音频云端服务器,并从所述音频云端服务器获取所述第一音频数据,第二音频数据或者第三音频数据。
可选的,所述方法还包括:
在确定所述模式识别为健康提醒模式标识时,触发计时器计时;
在确定所述计时器记录时长期间,持续收到所述食物图像信息,且所述计时器记录时长满足预设时长时,生成停止进食的音频数据,并将所述停止进食的音频数据发送给所述音频骨传导器。
可选地,所述方法还包括:
在确定所述模式识别为健康提醒模式标识时,从所述音频骨传导装置获取使用者的咬合次数;
在确定所述咬合次数满足预设次数时,生成停止进食的音频数据,并将所述停止进食的音频数据发送给所述音频骨传导器。
可选地,所述食物的表面特征包括如下至少一种:
食物表面的纹理、食物形状、食物颜色、食物的包装表面纹理、食物的包装形状、食物的包装颜色以及食物的包装上的识别信息。
可选地,所述方法还包括:
接收所述音频骨传导装置的标识;
则所述将所述第一音频数据发送给所述音频骨传导装置,包括;
将所述第一音频数据发送给与所述音频骨传导装置的标识对应的将所述第一音频数据发送给所述音频骨传导装置。
本申请的第七方面提供了一种计算机存储介质,包括:
计算机指令,所述指令用于实现如上述第五个方面所述的音频骨传导处理方法。
本申请的第八方面提供了一种计算机存储介质,包括:
计算机指令,所述指令用于实现如上述第六个方面所述的音频骨传导处理方法。
本申请提供的音频骨传导处理方法、装置和系统,在用于接触使用者咬合部分的设备上设置有音频骨传导装置,通过该装置上的采集器对该设备所面对的食物进行食物图像信息采集,并通过收发器将该食物图像信息发送给音频处理设备,以能够获取与该食物图像信息对应的第一音频数据,并基于该音频数据,由骨传导器生成对应的微振动,从而能够在使用者的牙齿碰触到该设备时,可以听到与该微振动对应的音频,从而有效地提升了用户对于食物的体验效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1A为本申请实施例一提供的一种音频骨传导装置的结构示意图;
图1B为音频骨传导装置的一种示意图;
图1C为图1B中整体模组的爆炸图;
图1D为音频骨传导装置的一种架构示意图;
图2为本申请实施例二提供的一种音频处理设备的结构示意图;
图3为本发明实施例三提供的一种音频骨传导系统的架构示意图;
图4为本申请实施例三提供的音频骨传导处理方法的流程示意图;
图5为本申请实施例四提供的音频骨传导处理方法的流程示意图;
图6示出了音频处理设备的一种实现方式的流程示意图;
图7为食物的加工工厂对于食物的加工处理流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
骨传导一直是许多听觉设备中常用的技术。骨传导装置的表面传感器将来自整个颅骨的牙齿的振动(称为声波)发送到听觉侧的耳蜗,使人们能够感知。
为了改善食物体验,研究另一种通信方法,本发明创造了一种使用食物作为数据传输介质的交互系统,其具有专门的骨传导装置,允许人们在进食时通过普通器具私下访问音频数据,这探索了消化营养以满足身体需要的重叠以及人们日常生活中的数字信息。
为了实现上述目的,图1A为本申请实施例一提供的一种音频骨传导装置的结构示意图;参考图1A可知,该装置包括:
采集器11,用于采集食物图像信息;
收发器12,用于将所述食物图像信息发送给音频处理设备,并获取与所述食物图像信息对应第一音频数据;
控制器13,用于在确定收发器12接收到的所述第一音频数据时,触发骨传导器14生成与所述音频数据对应第一微振动;
骨传导器14,用于生成所述第一微振动,以使得使用者在其牙齿碰触所述设备时听到所述第一微振动对应的音频。
实际应用中,音频骨传导器,可以固设在接触人体口咬合部位的餐具或康复训练咬合器件本体上。音频骨传导器可以包括CPU、无线接收模块、摄像头、骨传导模块,压力传感,还可包括辅助的压力开关,充电电池以及充电口等。实际应用中,该音频骨传导器可具备充电功能,以便于随身携带使用,相应的,该装置还可以包括充电装置。其中,摄像头仅为采集器的一种示例实现方式,实际应用中,采集器可以通过任意具备图像采集功能的设备实现,例如以下的至少一种:摄像单元、红外成像单元和紫外成像单元。
上述各个组建器件可一体集成固设在器件本体上,例如图1B所示,为音频骨传导装置的一种示意图,整体模组设置在勺子的柄部,举例来说,图1C为该整体模组的爆炸图,其包括用于器具主体,用于收发数据的蓝牙模块和音频接收器,用于进行信号处理的放大器,用于检测压力的表面传感器,用于采集图像的相机,以及电池,充电端口等。当使用者手压开关,用餐时,将勺子上的摄像头朝向食品,摄像头(即相机)采集食品图像或标识,向音频播放设备(即音频处理设备)发出信息,该播放器搜索到对应的音乐数据,将该数据无线传递给勺子上的控制器、骨传导模组,播放该音频数据,这样当使用者将勺子置于口腔中,牙齿轻触勺子端部,即可听到所播出的音乐。
上述组件亦可分体设置,例如可将摄像头设在勺子的端部,方便采集图像;也可在勺子柄部或端部增设压力传感器件,提高控制反应灵敏度、也提供辅助操作。
本方案的目的在于提供一种利用骨传导技术与物品识别技术实现人类感知信息的新的技术。
作为示例,本申请的方案可大致如下:在步骤1中,嵌入食物中的音频数据可通过食物的特征来检测。适用的方法可以使用基于食物或食物包装的表面上的不同纹理,形状和颜色的物体识别或图像识别。音频数据可根据场合进行定制。
在步骤2中,通用模块紧密贴在普通器具上,如勺子,叉子和稻草。模块化是骨传导的,与处理器的无线连接用于数据传输。核心组件包括蓝牙模块或wifi模块,放大器,用于在步骤1中收集视觉输入以进行检测的摄像机,用于接收音频数据作为输出的音频接收器以及用于产生高功率微振动以包围听众的表面换能器,从而产生身临其境的声音。
在步骤3中,数据处理通过移动电话(或PC)进行,移动电话(或PC)在步骤2中与模块进行无线连接。它处理从通过模块传输的摄像机输入的图像,解码为音频数据并将其发送回模块上的音频接收器。它还通过播放,暂停或停止解码的音频文件来控制模式。
总的来说,当用户拿着器具并接近食物时,附在器具上的模块上的相机收集食物上的表面特征。它可以基于图形图案,纹理,颜色,成分,其功能类似于条形码,便于检测。然后,图像数据通过无线连接基于移动电话(或PC)发送到处理器以进行检测。被识别的图像数据被解码成相应的音频数据并发送回模块上的音频接收器。表面传感器根据音频数据产生高功率微振动。通过触摸或咬住器具的固体,通过将振动从表面发射器传递到使用者的牙齿,在使用者的嘴中发生骨传导。因此,用户能够感知他(或她)正在吃的食物中嵌入的音频信息。
基于上述交互系统和设备,可能的应用可以用于任何食品相关行业的广告,例如订购和递送服务。此外,它有可能促进医疗保健,以帮助有饮食问题的人,并通过告知用户他们吃多少来更好地控制成分摄入量。它还可以用作替代社交媒体,音乐享受或通过定制嵌入在食物中的音频数据进行私人一对一通信。当人们用餐具进食时,他们能够在没有额外音频处理设备的情况下感知音频数据,这不仅增加了饮食的乐趣,而且还创造了一种感知音频信息的沉浸式和私密体验。
该技术主要是借助于设置在骨传导装置上的图像采集单元,对骨传导装置所接近的食品图像进行采集。前述的食品主要涉及普通的自然食物,例如:水果、蔬菜等,还涉及人类加工的食物,例如:菜肴、面点等;还涉及一些特定的食物:例如:药品、药材等,这些食品的图像可以是任何可视的图像,也可以是红外或者紫外射线的特殊成像。
对于这些被采集的图像进行分析和处理,以识别出图像中的食品。具体的识别方式,可以基于食品表面的图案、纹理、颜色以及特定的机器识别符号(例如:条码、标记)等进行识别,也可以采用人工智能(AI)的方式,即:在使用大量的食品图案对设备进行训练的基础上进行类似于人类的方式,进行识别。
在识别出相应的食品后,可以这种食品的识别信息作为检索条件,在相关数据库中找到相关的音频数据,并将这个音频数据传输到骨传导装置上进行播放。当骨传导装置播放这些音频数据时,骨传导装置所产生的声波,可以借助于与之相接触的人体牙齿、颌骨、颅骨等使人体的外淋巴发生相应波动,并激动耳蜗的螺旋器产生听觉。
为了实现上述的目的,在骨传导装置上设置摄像头、红外或者紫外图像采集单元等是必要的。此外,还应当设置无线传输装置和音频播放装置,前者用于发送前述摄像头等采集到的图像数据,后者用于接收与图像数据相对应的需要播放的音频数据。
为了对图像数据进行识别处理,并检索、传输与该图像数据相匹配的音频数据,一个强大的后台的处理系统,通常是需要的。这个后套处理系统的一个具体的实现方式是:由使用骨传导装置的用户的手机、个人终端以及网络系统(这个网络系统可以是特定的局域网,也可以是广域的公共服务云平台)所构成。被骨传导装置采集到的图像数据基本上以无线方式传输到用户的手机、个人终端,主要是做出识别处理,然后,这种识别的结果被传送到网络系统。网络系统在找到与该图像数据相匹配的音频数据后,借助于用户的手机、个人终端等,传输到骨传导装置,当然,必要的播放控制命令和参数也可以一并传输过。骨传导装置在接收到这些音频数据后,就可以进行播放。
作为本发明的骨传导装置,如前所述,它通常可以是一种可以和人体牙齿、颌骨、颅骨等相接触的餐具(例如:勺、叉、筷子等)、用具(例如:吸管、奶嘴)等,与普通的餐具、用具不同的是:这些餐具上一体设置前述的摄像单元、红外、紫外图像采集单元,无线收发单元以及播放单元。一些餐具或者用具体上,还设置有用于可以让人类吮咬的部位,当人类吮咬到该部位的时候,骨传导装置可以感应到相应的压力,并启动相应的摄像单元工作。前述的摄像单元、红外、紫外图像采集单元可以内嵌于餐具或者用具的内部,以保证这些单元被构成餐具、用具的材料所保护,并保证餐具、用具整体的美观性。此外,还可以在餐具、用具的合适部位设置一些可使人类捏持的部位,这个部位的作用与吮咬部位是基本相同的,只是用在某些不适合或者无力吮咬的时候,可以采用手捏的方式来使装置运行。例如:护士可以采用手捏的方式帮助无力吮咬的病人操作骨传导装置。
上述的骨传导装置,在通常的使用场合,可以使人们在进食的时候,也吃到了精神“粮食”,其音频可为个性化的悦耳音乐,或者为广告、食品介绍与商业推广结合、热量、食品温度的提示与个人健康管理系统结合。人们在收听这些音频时,无需戴设耳机或者使用广播喇叭,相互不影响,且增加了趣味性。在特定的场合,例如:病人进食的时候,可以借助于特定的音频来使他们愉快、平静,降低厌食的影响而乐于进食。
为更好地理解本申请的方案,以下结合不同的识别模式,对本申请提供的方案进行详细的示例和阐述。需要说明的是,以下识别模式仅仅用作进行示例,实际应用中,结合不同的需要和场景,还可能存在其它各种识别模式,本实施例在此不对其进行限制:
在一种识别模式下,上述装置可应用于娱乐场景。举例来说,上述音频数据可以为基于不同的食物选择的音乐。音乐的旋律能够与用户的心理活动产生共鸣并在一定程度上影响用户的心情,音乐治疗学的应用正印证了这一点。
结合本方案,可以基于骨传导技术和物品识别技术,音频处理设备可以识别出当前用户进食的食物信息,例如为何种食物,以及食物的种类(例如肉类、蔬菜类等),食物的特性(例如,凉性食物、热性食物等)。结合娱乐场景,这里的食物信息还可以能够反映当前用户的就餐环境和氛围,从而进一步确定出更加适合用户在当前欣赏的音乐。
具体的,基于采集器采集到的食物图像,确定出需要被用户感知的音频数据,这个音频数据的确定过程可以多种手段实现。例如,可以根据预先采集的用户在不同情形下喜欢收听的音乐,建立和维护食物信息与音频数据的对应关系。相应的,音频处理设备通过收发器接收并根据采集器采集的食物图像信息,确定出当前的食物信息后,基于该对应关系确定出与当前的食物信息对应的音频数据(例如,音乐),返回给收发器,表面传感器根据该音频数据产生高功率微振动,在使用者的嘴中发生骨传导,实现音频感知。再例如,还可以基于人工智能,根据食物信息确定相应的音频数据。
进一步结合场景举例来说,假设音频处理设备根据采集器发送的食物图像信息,获得的食物信息为火锅,则可将音乐类型较为热烈、奔放的音频数据返回给收发器;假设音频处理设备根据采集器发送的食物图像信息,获得的食物信息为西餐,则可将音乐类型较为舒缓、高雅的音频数据返回给收发器。本实施例在此未对其实现手段进行限制。
在另一种识别模式下,上述装置可应用于康复训练场景。举例来说,上述音频数据可以为基于不同的食物选择的提示音频。该提示音频可以为帮助用户进行康复训练的音频数据,例如,包括但不限于指导用户执行康复动作的语音指令,或者饮食建议,本实施例在此不对其进行限制。
结合本方案,同样基于骨传导技术和物品识别技术,音频处理设备可以识别出当前用户进食的食物信息,例如为何种食物,以及食物的种类(例如肉类、蔬菜类等),食物的特性(例如,凉性食物、热性食物等)。结合康复训练场景,这里的食物信息还可以反映当前食物是否适合于用户的身体状况,从而有利于用户康复。
具体的,基于采集器采集到的食物图像,音频处理设备确定出需要被用户感知的音频数据,这个音频数据的确定过程同样可以多种手段实现。例如,可以根据预先采集的用户的身体状况,例如,病史、体重情况等,预先建立和维护不同食物与用户的身体状况的对应关系,这种对应关系用于反映不同的食物是否适合用户体质。相应的,音频处理设备通过收发器接收并根据采集器采集的食物图像信息,确定出当前的食物信息后,基于该对应关系确定出与当前的食物信息对应的音频数据(例如,健康提醒),返回给收发器,表面传感器根据该音频数据产生高功率微振动,在使用者的嘴中发生骨传导,实现音频感知。再例如,还可以基于人工智能,根据食物信息确定相应的音频数据。
进一步结合场景举例来说,假定预先采集到用户的身体状况为糖尿病体质。假设音频处理设备根据采集器发送的食物图像信息,获得的食物信息为冰淇淋,则可将表征该食物不适合食用的健康提醒音频返回给收发器;假设音频处理设备根据采集器发送的食物图像信息,获得的食物信息为蔬菜,则可将该食物适合食用的健康提醒音频返回给收发器。本实施例在此未对其实现手段进行限制。
在又一种识别模式下,上述装置可应用于口腔锻炼场景。举例来说,上述音频数据可以为基于不同的食物选择的动作执行提示。该动作执行提示可以为提示用户执行相应动作的音频数据,例如,包括但不限于咀嚼方式、口型、咀嚼力度等,本实施例在此不对其进行限制。
结合本方案,同样基于骨传导技术和物品识别技术,音频处理设备可以识别出当前用户进食的食物信息,例如为何种食物,以及食物的种类(例如肉类、蔬菜类等),食物的特性(例如,凉性食物、热性食物等)。结合康复训练场景,这里的食物信息还可以反映当前食物与口腔训练相关的信息,例如,食物的软硬程度,从而便于用户执行口腔训练。
具体的,基于采集器采集到的食物图像,音频处理设备确定出需要被用户感知的音频数据,这个音频数据的确定过程同样可以多种手段实现。例如,可以预先建立和维护食物与口腔训练动作的对应关系,这里的口腔训练动作可以包括由一系列指令形成的流程,也可以包括一系列指令的代码组合。相应的,音频处理设备通过收发器接收并根据采集器采集的食物图像信息,确定出当前的食物信息后,基于该对应关系确定出与当前的食物信息对应的音频数据(例如,动作指令),返回给收发器,表面传感器根据该音频数据产生高功率微振动,在使用者的嘴中发生骨传导,实现音频感知。再例如,还可以基于人工智能,根据食物信息确定相应的音频数据。
进一步结合场景举例来说,假设音频处理设备根据采集器发送的食物图像信息,获得的食物信息为较硬的食物,则可将咀嚼力度较大的咀嚼动作指令返回给收发器;假设音频处理设备根据采集器发送的食物图像信息,获得的食物信息为较软的食物,则可将咀嚼力度较小的咀嚼动作指令返回给收发器。本实施例在此未对其实现手段进行限制。
需要说明的是,上述各个模式既可以单独实施也可以结合实施,例如,既播放音乐又播放健康提醒。
可选的,在实际应用中,为了便于对模式进行选择和切换,相应的,在一种实施方式中,所述装置还可以包括:模式选择器;则
所述控制器,还用于识别所述使用者对所述模式选择器的操作,以获取对应的识别模式,并触发所述收发器,将所述模式标识发送给音频处理设备;
所述收发器,还用于获取与所述模式标识和所述食物图像对应的第二音频数据;
所述控制器,还用于在确定所述收发器接收到的所述第二音频数据时,触发所述骨传导器生成与所述音频数据对应第二微振动,以使得使用者在其牙齿碰触所述设备时听到所述第二微振动对应的音频。
作为一种示例,假设音频骨传导装置可以分别支持上述示例的前两种模式以及这两种模式结合实施的模式,则相应的,在该实施方式下,所述模式选择器可以包括如下至少两个单元:用于表示音乐播放的单元,用于表示健康提醒的单元,和用于表示音乐播放和健康提醒的单元。
具体的,用户在使用音频骨传导装置时,根据需要可以通过模式选择器进行模式选择,例如,用户可以对模式选择器执行选择操作(例如,选择按压某个单元对应的按钮,或者按压不同次数,又或者按压不同的时长),控制器则可相对应对用户执行的选择操作进行识别,从而获取对应的识别模式,并将相应的模式标识发送给音频处理设备,相应的,音频处理设备根据收发器发送的采集器采集的食物图像信息,在模式标识对应的识别模式下选择相应的音频数据(例如,在娱乐模式下选择对应的音乐,在康复训练模式下选择对应的健康提醒),并返回给收发器。
本实施方式,通过模式选择器控制音频骨传导装置的工作模式,能够实现对不同识别模式的支持,从而进一步贴近结合实际需要,使用户感知到更加精准和更加适合用户的音频数据,提高音频感知的灵活性和用户体验。
此外,本方案的触发场景也可以有多种,在一种实施方式中,在前述任一实施方式的基础上,所述装置还可以包括:
压力模组器,用于获取所述设备被接触的压力;
则所述控制器,具体用于在确定所述压力模组器获取到所述压力时,触发所述采集器采集食物图像信息。
结合实际场景举例:当用户需要使用音频骨传导装置时,可以向音频骨传导装置的某个部位施加压力,控制器通过压力模组器一旦感测到这个压力,则控制采集器采集食物图像信息,接下来,收发器将所述食物图像信息发送给音频处理设备,并获取与所述食物图像信息对应的音频数据,控制器则触发骨传导器生成与所述音频数据对应的微振动,这种微振动能够使得使用者在其牙齿碰触该设备时感知到对应的音频。
如前所述,实际应用中该设备的实现形态不限,因此结合设备的实际结构和形态,可以对压力模组器进行设置,以便于用户使用和操作。可选的,在一种实施方式中,所述压力模组器可以包括:用于设置在所述设备的手柄处的第一压力传感器;以及用于设置在所述设备的人口咬合部位的第二压力传感器。
以实际场景举例来说:音频骨传导装置的实现形态可以包括但不限于餐具或者用具,该装置可以提供便于用户握持的部位,例如手柄,以及便于用户咬合的部位,例如勺体。当然,本实施方式的场景不限于上述这些情形。具体的,在本实施方式中,压力模组器包括设置在手柄处的第一压力传感器和设置在咬合部位的第二压力传感器。其中,第一压力传感器设置在适合用户捏持的部位,以便用户通过捏压触发装置运行,例如,在某些不适合或者无力吮咬的时候,可以采用手捏的方式来触发装置运行。另外,第二压力传感器设置在适合用户咬合的部位,以便用户通过吮咬触发装置运行,例如,当人类用户吮咬到咬合部位的时候,第二压力传感器可以感应到相应的压力,并触发装置运行。
实际应用中,第一压力传感器和第二压力传感器可以单独使用也可以结合使用,结合使用的方式同样有多种,例如,任一压力传感器检测到压力即触发装置运行,或者所有压力传感器都检测到压力时方触发装置运行。实际应用中,可以根据需要进行设定结合使用的方式,例如,针对不方便进行手部或口部运动的用户,则采用前一种结合方式,以便于用户触发装置;针对健康用户,则可选择采用后一种结合方式,以避免误操作。
可选的,作为示例,在一种实施方式中上述压力传感器可分别用于触发不同的流程步骤。具体的,在上述实施方式的基础上,在所述控制器基于所述第一压力传感器获取的压力,触发所述采集器采集食物图像信息时,
所述控制器,还具体用于在确定所述收发器接收到所述第一音频数据或第二音频数据,且确定所述第二压力传感器获取到压力时,触发所述骨传导器生成与第一微振动或第二微振动。
结合实际场景举例:本方案大致包括两个主要流程步骤,即根据食物图像信息获取对应的音频数据,以及生成音频数据对应的微振动以实现音频感知。结合本实施方式进行说明,本实施方式中的压力模组器包括便于捏压的第一压力传感器和便于吮咬的第二压力传感器,可以理解,当用户需要使用音频骨传导装置时,可以方便地通过捏压手柄来触发前一流程步骤,具体即为触发采集器采集食物图像信息,以及接下来的收发器向音频处理设备发送食物图像信息并获取对应的音频数据。之后,结合骨传导技术的原理,当用户吮咬该装置时,骨传导器生成的微振动方可传导至使用者实现音频感知,因此为了节省功耗和提高使用时间,可以在检测到用户吮咬该装置时,方触发骨传导器工作。
进一步的,结合第二压力传感器还可以对用户的进食情况进行监测。具体的,在前一实施方式的基础上,所述收发器还用于接收所述音频处理设备发送的咬合次数请求;则
所述控制器还用于基于所述第二压力传感器获取的压力,获取对应的咬合次数,并触发所述收发器将所述咬合次数发送给所述音频处理设备。
以实际场景举例来说:本实施方式通过第二压力传感器检测用户当前的进食状况,该实施方式可以应用于前述的任意识别模式。以第二种识别模式(即康复训练)举例来说,处理器通过统计第二压力传感器获取的压力,获得用户的咬合次数并同步至音频处理设备。可以理解,该咬合次数能够反映用户当前的进食情况,具体的,统计得到的咬合次数越多,则说明用户的进食量越大。基于该原理,可以结合用户的身体状况为其设定与合适的进食量对应的咬合次数上限值,一旦音频处理设备收到控制器统计的咬合次数达到该上限值,则向收发器返回健康提醒,该健康提醒用于提示用户停止进食。
可选的,这里的咬合次数上限值可以结合用户的身体状况进行设置,例如,针对糖尿病用户可对应设置较小的咬合次数上限值,针对瘦弱用户可对应设置较大的咬合次数上限值。再可选的,所述咬合次数上限值除了受用户身体状况影响外,还可以基于食物信息进一步确定,例如,针对高热量的食物(例如米饭,西瓜等)可结合用户身体状况设置较小的咬合次数上限值,反之针对低热量的食物(例如蔬菜等)可结合用户身体状况设置较大的咬合次数上限值。
本实施方式中,通过压力模组器获取设备接受到的压力,并且控制器基于压力模组器获取的压力触发执行音频感知方案,能够便于用户使用和操作,提高音频感知的可靠性。
图1D为音频骨传导装置的一种架构示意图。实际应用中,本方案可以基于音频骨传导装置和音频处理设备的通信交互实现,音频骨传导装置采集食物图像信息并发送给音频处理设备,音频处理设备根据接收到的食物图像信息,确定并向音频骨传导装置返回对应的音频数据,音频骨传导装置则根据该音频数据产生对应的微振动,当用户的牙齿触碰音频骨传导装置时,能够感知到微振动对应的音频数据。可以理解,基于上述交互方案,音频骨传导装置无需进行过多数据处理,因此可实现为体积较小便于携带的设备形态,则物体识别和音频数据的确定可由音频处理设备执行,音频处理设备的设备形态可以为具有良好数据处理能力的设备,例如,手机、电脑、服务器等,其可以通过无线通信手段与音频骨传导装置交互,以实现本方案。具体的,音频处理设备的相关内容可参照实施例二中的描述。
本实施例提供的音频骨传导装置,采集食物图像信息并发送给音频处理设备,音频处理设备根据音频骨传导装置发送的食物图像信息返回相应的音频数据,以使音频骨传导装置产生对应的微振动,当用户的牙齿触碰音频骨传导装置时,能够感知到微振动对应的音频数据。本方案基于骨传导技术和物体识别技术,实现基于不同食物信息向用户提供个性化和方便安全的音频感知,从而提高音频感知的效果和用户体验。
图2为本申请实施例二提供的一种音频处理设备的结构示意图;参考图2可知,该音频处理设备包括:
收发器21,用于接收音频骨传导装置发送的食物图像信息;
处理器22,用于获取与所述食物图像信息对应的第一音频数据;
收发器21,还用于将所述第一音频数据发送给所述音频骨传导装置。
本方案的目的在于提供一种利用骨传导技术与物品识别技术实现人类感知信息的新的技术。该技术主要是借助于设置在音频骨传导装置上的图像采集单元,对骨传导装置所接近的食品图像进行采集。音频处理设备对于这些被采集的图像进行分析和处理,以识别出图像中的食品。
食物识别可以基于食品表面的图案、纹理、颜色以及特定的机器识别符号(例如:条码、标记)等进行识别,也可以采用人工智能(AI)的方式,即:在使用大量的食品图案对设备进行训练的基础上进行类似于人类的方式,进行识别。
为了保证食物识别的准确性,作为一种示例,所述处理器具体可以用于:对所述食物图像信息进行识别处理,以获取所述食物的表面特征;获取与所述食物的表面特征对应的第一音频数据。其中,所述食物的表面特征包括如下至少一种:食物表面的纹理、食物形状、食物颜色、食物的包装表面纹理、食物的包装形状、食物的包装颜色以及食物的包装上的识别信息。
实际应用中,音频处理设备可以实现为移动电话(或PC),移动电话(或PC)与音频骨传导装置进行无线连接。它处理从通过音频骨传导装置传输的图像,解码为音频数据并将其发送回音频骨传导装置。它还通过播放,暂停或停止解码的音频文件来控制音频骨传导装置。
结合不同场景作为示例:音频处理设备可以是:1、餐厅具有无线传输模块的计算机或手机,也可以是云端音频服务器2、用户手机中的专用应用程序APP。音频骨传导装置的摄像头采集的图像直接发给音频处理设备;音频处理设备据此寻找对应的音频数据,再发给该音频骨传导装置;或者音频骨传导装置的摄像头采集的图像本地直接寻找对应的识别信息,发给音频处理设备;音频处理设备寻找对应的音频数据,再发给该音频骨传导装置。可选的,在实际应用中,音频处理设备可以对应多个音频骨传导装置,可接收多个音频骨传导装置传送的信息与请求,亦可向多个音频骨传导装置发出相同或不同的多个音频数据。
具体的,音频处理设备在识别出相应的食品后,可以这种食品的识别信息作为检索条件,在相关数据库中找到相关的音频数据,并将这个音频数据传输到骨传导装置上进行播放。当骨传导装置播放这些音频数据时,骨传导装置所产生的声波,可以借助于与之相接触的人体牙齿、颌骨、颅骨等使人体的外淋巴发生相应波动,并激动耳蜗的螺旋器产生听觉。
为了对图像数据进行识别处理,并检索、传输与该图像数据相匹配的音频数据,一个强大的后台的处理系统,通常是需要的。这个后套处理系统的一个具体的实现方式是:由使用骨传导装置的用户的手机、个人终端以及网络系统(这个网络系统可以是特定的局域网,也可以是广域的公共服务云平台)所构成。被骨传导装置采集到的图像数据基本上以无线方式传输到用户的手机、个人终端,主要是做出识别处理,然后,这种识别的结果被传送到网络系统。网络系统在找到与该图像数据相匹配的音频数据后,借助于用户的手机、个人终端等,传输到骨传导装置,当然,必要的播放控制命令和参数也可以一并传输过。骨传导装置在接收到这些音频数据后,就可以进行播放。
具体的,在音频骨传导装置与音频处理设备的交互过程中,还需要携带音频骨传导装置的标识,即所述收发器还用于接收所述音频骨传导装置的标识。结合实际场景来说,音频处理设备需要对当前的音频骨传导装置进行识别,以实现信息的交互发送。此外,实际应用中,还可以建立和维护音频骨传导装置与用户的对应关系,例如,张三在购买音频骨传导装置后,通过注册激活等流程可以建立与该频骨传导装置的绑定,以在后续的音频感知方案中,结合张三的个性化需求定制个性化的音频确定方案。故该场景下,同样需要向音频处理设备发送音频骨传导装置的标识。
实际应用中,音频处理设备同样支持不同的识别模式,具体内容可以参见实施例一中的相关描述,本实施例在此不再赘述。
在实际应用中,当支持多种识别模式的选择和切换时,在一种实施方式中,所述收发器还用于接收所述音频骨传导装置发送的模式标识;
则所述处理器具体用于:
对所述食物图像信息进行识别处理,以获取所述食物的表面特征;
获取与所述食物的表面特征和所述模式标识对应的第二音频数据,并触发所述收发器将所述第二音频数据发送给所述音频骨传导装置。
本实施方式基于当前选择的识别模式和食物信息,确定对应的音频数据,从而实现在不同识别模式下的音频感知,提高音频感知的灵活性,更加贴近实际需求。
再可选的,当支持多种识别模式的选择和切换时,在另一种实施方式中,所述音频处理设备还可以包括:
监测器,用于监测使用者当前所处的环境信息;
则所述处理器具体用于:
对所述食物图像信息进行识别处理,以获取所述食物的表面特征;
获取与所述食物的表面特征和所述环境信息对应的第三音频数据,并触发所述收发器将所述第三音频数据发送给所述音频传导装置。
结合前述内容,可知音频数据的选择除了基于食物本身,还可以结合当前的就餐环境确定,该就餐环境的获取方式可以有多种,例如,可以通过食物信息反映,或者也可以直接监测获得,本实施方式中采用直接监测获得环境信息的方案,以提高音频感知的效率。
作为一种示例,结合不同的识别模式和音频数据的考虑因素,采取相应的音频获取方案。举例来说,所述处理器具体可以用于触发所述收发器,将所述食物的表面特征、或者所述食物的表面特征和模式标识,或者所述食物的表面特征和环境信息发送给音频云端服务器,并通过所述收发器从所述音频云端服务器获取所述第一音频数据,第二音频数据或者第三音频数据。针对不同的识别模式可以设置对应的模式标识,通过识别模式标识来确定当前的识别模式。
本实施方式能够实现对不同识别模式的支持,从而进一步贴近结合实际需要,使用户感知到更加精准和更加适合用户的音频数据,提高音频感知的灵活性和用户体验。
可选的,在实施例二的基础上,还可以对用户的进食情况进行监测。具体的,所述处理器还可以用于:
在确定所述模式识别为健康提醒模式标识时,触发计时器计时;
在确定所述计时器记录时长期间,所述收发器持续收到所述食物图像信息,且所述计时器记录时长满足预设时长时,生成停止进食的音频数据,并触发所述收发器将所述停止进食的音频数据发送给所述音频骨传导器。
以实际场景举例来说:本实施方式通过进食时间来检测用户当前的进食状况,该实施方式可以应用于前述的任意识别模式。以健康提醒模式(可结合至康复训练模式中实施)举例来说,音频处理设备的处理器通根据接收到的模式标识识别出当前为健康提醒模式时,触发计时器计时。可以理解,计时器记录的时长能够反映用户当前的进食情况,具体的,计时器记录的时长越长,则说明用户的进食量越大。基于该原理,可以结合用户的身体状况为其设定与合适的进食量对应的进食时长上限值,一旦音频处理设备检测到当前的进食时长达到该上限值,则向音频骨传导装置的收发器返回健康提醒,该健康提醒用于提示用户停止进食。
可选的,这里的进食时长上限值可以结合用户的身体状况进行设置,例如,针对糖尿病用户可对应设置较短的进食时长上限值,针对瘦弱用户可对应设置较长的进食时长上限值。再可选的,所述进食时长上限值除了受用户身体状况影响外,还可以基于食物信息进一步确定,例如,针对高热量的食物(例如米饭,西瓜等)可结合用户身体状况设置较短的进食时长上限值,反之针对低热量的食物(例如蔬菜等)可结合用户身体状况设置较长的进食时长上限值。
再可选的,还可以通过咬合次数对用户的进食情况进行检测。具体的,在实例二的基础上,所述处理器还用于:
在确定所述模式识别为健康提醒模式标识时,从所述音频骨传导装置获取使用者的咬合次数;
在确定所述咬合次数满足预设次数时,生成停止进食的音频数据,并触发所述收发器将所述停止进食的音频数据发送给所述音频骨传导器。
以实际场景举例来说:本实施方式通过第二压力传感器检测用户当前的进食状况,该实施方式可以应用于前述的任意识别模式。以第二种识别模式(即康复训练)举例来说,处理器通过统计第二压力传感器获取的压力,获得用户的咬合次数并同步至音频处理设备。可以理解,该咬合次数能够反映用户当前的进食情况,具体的,统计得到的咬合次数越多,则说明用户的进食量越大。基于该原理,可以结合用户的身体状况为其设定与合适的进食量对应的咬合次数上限值,一旦音频处理设备收到控制器统计的咬合次数达到该上限值,则向收发器返回健康提醒,该健康提醒用于提示用户停止进食。
可选的,这里的咬合次数上限值可以结合用户的身体状况进行设置,例如,针对糖尿病用户可对应设置较小的咬合次数上限值,针对瘦弱用户可对应设置较大的咬合次数上限值。再可选的,所述咬合次数上限值除了受用户身体状况影响外,还可以基于食物信息进一步确定,例如,针对高热量的食物(例如米饭,西瓜等)可结合用户身体状况设置较小的咬合次数上限值,反之针对低热量的食物(例如蔬菜等)可结合用户身体状况设置较大的咬合次数上限值。
上述两种实施方式中,均可基于用户的进食情况触发向用户的健康提醒,从而结合用户自身情况有针对性地进行提示,提高音频感知的效果。需要说明的是,上述两种实施方式可以单独实施也可以结合实施。
实际应用中,本方案可以基于音频骨传导装置和音频处理设备的通信交互实现。例如,音频骨传导装置采集食物图像信息并发送给音频处理设备,音频处理设备根据接收到的食物图像信息,确定并向音频骨传导装置返回对应的音频数据,音频骨传导装置则根据该音频数据产生对应的微振动,当用户的牙齿触碰音频骨传导装置时,能够感知到微振动对应的音频数据。可以理解,基于上述交互方案,音频骨传导装置无需进行过多数据处理,因此可实现为体积较小便于携带的设备形态,则物体识别和音频数据的确定可由音频处理设备执行,音频处理设备的设备形态可以为具有良好数据处理能力的设备,例如,手机、电脑、服务器等,其可以通过无线通信手段与音频骨传导装置交互,以实现本方案。具体的,音频骨传导装置的相关内容可参照实施例二中的描述,实施例一与实施例二中的各个实施方式也可以结合实施。
本实施例提供的音频处理设备,根据音频骨传导装置发送的食物图像信息返回相应的音频数据,以使音频骨传导装置产生对应的微振动,当用户的牙齿触碰音频骨传导装置时,能够感知到微振动对应的音频数据。本方案基于骨传导技术和物体识别技术,实现基于不同食物信息向用户提供个性化和方便安全的音频感知,从而提高音频感知的效果和用户体验。
实际应用中,本方案可以基于音频骨传导装置和音频处理设备的通信交互实现。相应的,如图3所示,图3为本发明实施例三提供的一种音频骨传导系统的架构示意图,包括:设置在用于接触使用者咬合部位的设备上的音频骨传导装置,以及如实施例二所述的音频处理设备;
其中,所述音频骨传导装置如实施例一所述的音频骨传导装置。
具体的,音频骨传导装置采集食物图像信息并发送给音频处理设备,音频处理设备根据接收到的食物图像信息,确定并向音频骨传导装置返回对应的音频数据,音频骨传导装置则根据该音频数据产生对应的微振动,当用户的牙齿触碰音频骨传导装置时,能够感知到微振动对应的音频数据。可以理解,基于上述交互方案,音频骨传导装置无需进行过多数据处理,因此可实现为体积较小便于携带的设备形态,则物体识别和音频数据的确定可由音频处理设备执行,音频处理设备的设备形态可以为具有良好数据处理能力的设备,例如,手机、电脑、服务器等,其可以通过无线通信手段与音频骨传导装置交互,以实现本方案。具体的,音频骨传导装置和音频处理设备的相关内容可参照实施例一和实施例二中的描述。
本实施例提供的音频骨传导系统中,音频处理设备根据音频骨传导装置发送的食物图像信息返回相应的音频数据,以使音频骨传导装置产生对应的微振动,当用户的牙齿触碰音频骨传导装置时,能够感知到微振动对应的音频数据。本方案基于骨传导技术和物体识别技术,实现基于不同食物信息向用户提供个性化和方便安全的音频感知,从而提高音频感知的效果和用户体验。
另外,可选地,本实施例还提供了一种设备,包括用于接触使用者咬合的部位,还包括:如上述所述的音频骨传导装置。
可选地,本实施例还提供了一种音频骨传导系统,包括:设置在用于接触使用者咬合部位的设备上的音频骨传导装置,以及如上述所述的音频处理设备;其中,音频骨传导装置如上述所述的音频骨传导装置。
可选地,该系统还包括:音频云端服务器,用于接收所述食物的表面特征、或者所述食物的表面特征和模式标识,或者所述食物的表面特征和环境信息,并获取对应的第一音频数据、第二音频数据和第三音频数据。
图4为本申请实施例三提供的音频骨传导处理方法的流程示意图,该方法的执行主体为音频骨传导装置,其设置在用于接触使用者咬合部位的设备上。如图4所示,该方法包括:
步骤101、采集食物图像信息。
步骤102、将该食物图像信息发送给音频处理设备,并获取与该食物图像信息对应的第一音频数据。
步骤103、生成与该第一音频数据对应的第一微振动,以使得使用者在其牙齿碰触用于接触使用者咬合部位的设备时听到第一微振动对应的音频。
在本实施例中,音频骨传导装置具体可以参见上述实施例,此处不再赘述。另外,该音频传装置可以在使用者用该设备取食物或者面对食物时,通过其上的采集器采取食物图像信息,并通过收发器将该食物图像信息发送给音频处理设备,以供音频处理设备对该食物图像信息进行识别处理,以获取到与该食物图像信息对应的第一音频数据;其中,举例来说,该第一音频数据可以是音乐,也可以是语音提示等。
另外,该设备一方面可以用于承载食物,例如:自然食物(水果、蔬菜等),人类加工食物(菜肴、面点),以及特定的食物(药品、药材)等。另一方面,该设备可以是和人体牙齿、颌骨或者颅骨接触的餐具,例如:勺子、叉子或者筷子等,或者还可以用具,例如:吸管、奶嘴等。
当音频骨传导装置上的控制器通过收发器接收到该第一音频数据时,可以触发骨传导器生成对应的第一微振动,这样,当使用者将承载有食物的设备放入使用者的口腔,且其牙齿碰触到设备时,第一微振动从而可以经颅骨途径使外淋巴发生相应波动,并激动耳蜗的螺旋器产生与该第一微振动对应的音频,例如音乐或语音提示,从而使得使用者在进餐的时候,还能享受到音乐,或者使得使用者在进餐时,获知哪些食物可能会对自己身体的疾病有影响(例如糖尿病人不能进入甜品),或者善意提醒使用者进食量过多等。
换言之,上述的音频骨传导装置,在通常的使用场合,可以使人们在进食的时候,也吃到了精神“粮食”,其上述第一音频数据以及下述的第二音频数据和第三音频数据,均可以为个性化的悦耳音乐,或者为广告、食品介绍或者商业推广结合、热量、食品温度提示与个人健康管理系统结合。基于此,在使用者接收到音频时,无需戴设耳机或者使用广播喇叭,相互不影响、且增加了趣味性。另外,在特定的场合,例如:病人进食的时候,还可以借助与该特定音频来是他们愉快、平静、降低厌食的影响而乐于进食。
在本实施例中,在用于接触使用者咬合部分的设备上设置有音频骨传导装置,通过该装置上的采集器对该设备所面对的食物进行食物图像信息采集,并通过收发器将该食物图像信息发送给音频处理设备,以能够获取与该食物图像信息对应的第一音频数据,并基于该音频数据,由骨传导器生成对应的微振动,从而能够在使用者的牙齿碰触到该设备时,可以听到与该微振动对应的音频,从而有效地提升了用户对于食物的体验效果。
在上述图4所示实施例的基础上,该方法还可以进一步包括:
识别该使用者对该模式选择器的操作,以获取对应的模式标识;
则步骤102中的将该食物图像信息发送给音频处理设备,具体包括:
将该食物图像信息和该模式标识发送给该音频处理设备;
则该方法还包括:
获取与该模式标识和该食物图像对应的第二音频数据,并生成与该第二音频数据对应第二微振动,以使得该使用者在其牙齿碰触该设备时听到该第二微振动对应的音频。
在本实施例中,音频骨传导装置上可以设置有模式选择器,基于此,使用者可以根据实际需要,选择对应的模式,例如音乐播放模式、健康提醒模式、以及音乐播放和健康提醒模式,从而对应的模式标识可以包括:音乐播放标识、健康提醒标识以及音频和健康提醒标识。
当使用者选择不同的模式之后,音频处理设备可以基于食物图像信息和模式标识,进一步确定对应的第二音频数据,并发送给骨频传导装置,从而可以使得骨频传导装置可以基于不同的用户需求,提供对应的音频。
在上述图4所示实施例的基础上,该方法还可以进一步包括:
获取该设备被接触的压力;
则步骤101中采集食物图像信息,包括:
在确定获取到该压力时,采集食物图像信息。
在此基础上,获取该设备被接触的压力还可以进一步包括:
分别获取该设备的手柄处的第一压力,以及该设备的使用者咬合部分的第二压力。
在确定获取到该第一压力,采集该食物图像信息时,生成与该第一音频数据对应的第二微振动,或者生成与该第二音频数据对应第二微振动包括:
在确定接收到该第一音频数据或第二音频数据,且获取到第二压力时,生成该第一微振动或第二微振动。
在本实施例中,为了避免骨频传导装置实时采集食物图像信息,该骨频传导装置上的控制器还具体用于,在获取到该设备的手柄处的第一压力时,对食物图像信息进行采集。另外,更为优选地,控制器还具体用于在确定收到第一音频数据或第二音频数据,且获取到第二压力时,才生成第一微振动或者第二微振动,从而一定程度上提高了骨频传导装置的使用效率。
在上述图4所示实施例的基础上,该方法还可以进一步包括:在音频处理设备识别出模式标识为健康标识时,需要实时能监视到使用者的进食情况,例如包括进食时长或者进食的食物品种等。其中,关于进食时长的监测,本方法优选的还包括:
接收该音频处理设备发送的咬合次数请求,
根据获取到的该第二压力,获取对应的咬合次数,并将该咬合次数发送给该音频处理设备。
在本实施例中,通过实时监测音频处理设备的咬合次数,可以确定使用者的进食情况,如果咬合次数过多,说明进食时间较长,过多食用该食物对身体不好,基于此,音频处理设备会基于咬合次数,生成对应的语音提示,以提醒用户停止进食。
图5为本申请实施例四提供的音频骨传导处理方法的流程示意图,该方法的执行主体为音频处理设备。如图5所示,该方法包括:
步骤201、接收音频骨传导装置发送的食物图像信息;
步骤202、获取与该食物图像信息对应的第一音频数据;
步骤203、将该第一音频数据发送给该音频骨传导装置。
在本实施例中,该音频处理设备的结构如上述实施例所示,此处不再赘述。具体地,该音频处理设备可以是音频播放器,也可以是音频云端服务器。举例来说,该音频播放器可以是餐厅中具有无线传输器的计算机或者手机,或者可以是使用者所属的手机中的应用程序APP等。
另外,该音频处理设备可以通过无线方式与音频骨传导装置连接,用于接收音频骨传导装置发送的食物图像信息,并获取与该食物图像信息对应的第一音频数据,例如:音乐或者语音提示,然后将该第一音频数据发送给音频骨传导装置,从而使得音频骨传导装置根据该第一音频数据,触发骨传导器生成对应的第一微振动,从而在使用者将用于接触使用者咬合部位的设备进入口腔,其牙齿咬合该设备时,能够通过该微振动,听到对应的音频。或者,另一个使用者在接触设备的手柄,且在设备进入到使用者口腔,该使用者牙齿轻触设备时,也可以通过该微振动,听到对应的音频,例如:护士可以采用手捏的方式帮助无力口咬的病人边吃食物边听音频。
在本实施例中,音频处理设备接收音频骨传导装置发送的食物图像信息,并基于该食物图像信息,获取与之对应的第一音频数据,并将该第一音频数据发送给音频骨传导装置,从而使得音频骨传导装置基于该音频数据,由骨传导器生成对应的微振动,从而能够在使用者的牙齿碰触到该设备时,可以听到与该微振动对应的音频,从而有效地提升了用户对于食物的体验效果。
在上述图5所示实施例的基础上,步骤202的具体实现方式有如下几种:
第一种实现方式:
对该食物图像信息进行识别处理,以获取该食物的表面特征;
获取与该食物的表面特征对应的第一音频数据。
其中,该食物的表面特征包括如下至少一种:
食物表面的纹理、食物形状、食物颜色、食物的包装表面纹理、食物的包装形状、食物的包装颜色以及食物的包装上的识别信息。举例来说,该识别信息可以是条码或者特殊标记等。
在本实施例中,基于该食物的表面特征,可以确定该食物的品种。从而可以基于该食物的品种选择对应的音乐进行播放或者对应的语音提示。例如:当该食物的品种为甜食时,可以选择比较轻松愉快的音乐或者提醒用户少吃的语音提示。
第二种实现方式:
步骤202之前,该方法还包括:接收该音频骨传导装置发送的模式标识;
则步骤202具体包括:
对该食物图像信息进行识别处理,以获取该食物的表面特征;
获取与该食物的表面特征和该模式标识对应的第二音频数据;
则该方法还进一步包括:
将该第二音频数据发送给该音频骨传导装置。
其中,食物表面的纹理、食物形状、食物颜色、食物的包装表面纹理、食物的包装形状、食物的包装颜色以及食物的包装上的识别信息。举例来说,该识别信息可以是条码或者特殊标记等。
在本实施例中,基于该食物的表面特征,可以确定该食物的品种,另外,可以基于模式标识,进一步判断是选择对应的音乐还是语音提示。例如:当该食物的品种为甜食时,如果模式标识是音乐播放标识,则可以选择比较轻松愉快的音乐;如果模式标识为健康提醒标识,则可以提醒用户少吃的语音提示。
第三种实现方式:
步骤202之前,该方法还包括:
监测使用者当前所处的环境信息;
则步骤202具体包括:
对该食物图像信息进行识别处理,以获取该食物的表面特征;
获取与该食物的表面特征和该环境信息对应的第三音频数据;
则该方法还进一步包括:将该第三音频数据发送给该音频传导装置。
其中,食物表面的纹理、食物形状、食物颜色、食物的包装表面纹理、食物的包装形状、食物的包装颜色以及食物的包装上的识别信息。举例来说,该识别信息可以是条码或者特殊标记等。
在本实施例中,基于该食物的表面特征,可以确定该食物的品种,另外,可以基于当前的环境信息,进一步判断是选择对应的音乐还是语音提示。例如:当该食物的品种为甜食时,如果环境信息为下雨,则可以选择比较舒缓的轻音乐。
在上述图5所示实施例的基础上,在上述模式标识为健康提醒模式标识时,该方法还可以进一步包括:
在确定该模式识别为健康提醒模式标识时,触发计时器计时;
在确定该计时器记录时长期间,持续收到该食物图像信息,且该计时器记录时长满足预设时长时,生成停止进食的音频数据,并将该停止进食的音频数据发送给该音频骨传导器。
或者,
在确定该模式识别为健康提醒模式标识时,从该音频骨传导装置获取使用者的咬合次数;
在确定该咬合次数满足预设次数时,生成停止进食的音频数据,并将该停止进食的音频数据发送给该音频骨传导器。
在本实施例中,音频处理设备在识别模式标识为健康提醒模式标识时,可以对使用者的进食进行监控。此时,音频处理设备还可以基于使用者的进食习惯,进食禁忌等信息,结合进食的时长和次数等,生成合理的语音提示,通过音频骨传导装置发送给使用者,从而能够有效地控制使用者的饮食,有利于使用者的身体健康。
在上述图5所示实施例的基础上,该方法还可以进一步包括:
接收该音频骨传导装置的标识;
则该将该第一音频数据发送给该音频骨传导装置,包括;
将该第一音频数据发送给与该音频骨传导装置的标识对应的将该第一音频数据发送给该音频骨传导装置。
在本实施例中,音频处理装置可以接收多个音频骨传导装置发送的音频处理请求,即包括音频骨传导的标识和对应的食物的图像信息,从而可以并行地处理多个食物图像信息,并将对应的音频数据发送给与音频骨传导装置的标识对应的音频骨传导装置。
基于上述描述,图6示出了音频处理设备的一种实现方式的流程示意图,基于原理同上述类似。另外,结合上述技术方案,该方案还可以扩展至食物耳语工厂对于食物的加工处理,其具体工作流程如图7所示,图7为食物的加工工厂对于食物的加工处理流程示意图。
另外,优选的,本申请实施例还提供了一种计算机存储介质,包括:
计算机指令,所述指令用于实现如图4所示的音频骨传导处理方法。
本申请实施例还提供了一种计算机存储介质,包括:
计算机指令,所述指令用于实现如上述图5所示的音频骨传导处理方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种音频骨传导装置,设置在用于接触使用者咬合部位的设备上,其特征在于,包括:
采集器,用于采集食物图像信息;
收发器,用于将所述食物图像信息发送给音频处理设备,并获取与所述食物图像信息对应第一音频数据;
控制器,用于在确定所述收发器接收到的所述第一音频数据时,触发骨传导器生成与所述音频数据对应第一微振动;
所述骨传导器,用于生成所述第一微振动,以使得所述使用者在其牙齿碰触所述设备时听到所述第一微振动对应的音频。
2.根据权利要求1所述的音频骨传导装置,其特征在于,还包括:模式选择器;则所述控制器,还用于识别所述使用者对所述模式选择器的操作,以获取对应的模式标识,并触发所述收发器,将所述模式标识发送给音频处理设备;
所述收发器,还用于获取与所述模式标识和所述食物图像对应的第二音频数据;
所述控制器,还用于在确定所述收发器接收到的所述第二音频数据时,触发所述骨传导器生成与所述音频数据对应第二微振动,以使得使用者在其牙齿碰触所述设备时听到所述第二微振动对应的音频。
3.根据权利要求1或2所述的音频骨传导装置,其特征在于,还包括:
压力模组器,用于获取所述设备被接触的压力;
则所述控制器,具体用于在确定所述压力模组器获取到所述压力时,触发所述采集器采集食物图像信息。
4.一种音频处理设备,其特征在于,包括:
收发器,用于接收音频骨传导装置发送的食物图像信息;
处理器,用于获取与所述食物图像信息对应的第一音频数据;
所述收发器,还用于将所述第一音频数据发送给所述音频骨传导装置。
5.根据权利要求4所述的音频处理设备,其特征在于,所述处理器具体用于:
对所述食物图像信息进行识别处理,以获取所述食物的表面特征;
获取与所述食物的表面特征对应的第一音频数据。
6.根据权利要求4所述的音频处理设备,其特征在于,所述收发器还用于接收所述音频骨传导装置发送的模式标识;
或者,所述设备还包括监测器,用于监测使用者当前所处的环境信息。
7.一种音频骨传导处理方法,其特征在于,包括:
采集食物图像信息;
将所述食物图像信息发送给音频处理设备,并获取与所述食物图像信息对应的第一音频数据;
生成与所述第一音频数据对应的第一微振动,以使得使用者在其牙齿碰触用于接触使用者咬合部位的设备时听到所述第一微振动对应的音频。
8.根据权利要求7所述的方法,其特征在于,还包括:
识别所述使用者对所述模式选择器的操作,以获取对应的模式标识;
则所述将所述食物图像信息发送给音频处理设备,包括:
将所述食物图像信息和所述模式标识发送给所述音频处理设备;
则所述方法还包括:
获取与所述模式标识和所述食物图像对应的第二音频数据,并生成与所述第二音频数据对应第二微振动,以使得所述使用者在其牙齿碰触所述设备时听到所述第二微振动对应的音频。
9.根据权利要求7或8所述的方法,其特征在于,还包括:
获取所述设备被接触的压力;
则所述采集食物图像信息,包括:
在确定获取到所述压力时,采集食物图像信息。
10.一种音频骨传导处理方法,其特征在于,包括:
接收音频骨传导装置发送的食物图像信息;
获取与所述食物图像信息对应的第一音频数据;
将所述第一音频数据发送给所述音频骨传导装置。
CN201811315547.5A 2017-11-06 2018-11-06 一种音频骨传导处理方法、装置和系统 Active CN109756834B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762582222P 2017-11-06 2017-11-06
US62/582,222 2017-11-06

Publications (2)

Publication Number Publication Date
CN109756834A true CN109756834A (zh) 2019-05-14
CN109756834B CN109756834B (zh) 2021-07-20

Family

ID=66401457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811315547.5A Active CN109756834B (zh) 2017-11-06 2018-11-06 一种音频骨传导处理方法、装置和系统

Country Status (1)

Country Link
CN (1) CN109756834B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827723A (zh) * 2019-12-02 2020-02-21 董宁辉 应用于口含食品的讲解装置
WO2021243559A1 (zh) * 2020-06-02 2021-12-09 雷铭科技有限公司 基于骨传导的夹持装置和处理方法
WO2022141112A1 (zh) * 2020-12-29 2022-07-07 雷铭科技有限公司 骨传导发声装置及发声处理方法、设备、介质和程序产品
WO2023284156A1 (zh) * 2021-07-12 2023-01-19 刘博� 口含音乐播放装置
WO2023029205A1 (zh) * 2021-09-02 2023-03-09 声佗医疗科技(上海)有限公司 助听器及其口内机、体外机、控制方法和控制装置、存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1045211A (zh) * 1990-04-11 1990-09-05 刘绍新 不用耳朵听音的助听装置
CN102640521A (zh) * 2009-10-02 2012-08-15 索尼图斯医疗公司 用于通过骨传导进行声音传递的口腔内器械
CN103070622A (zh) * 2013-02-09 2013-05-01 西安黛之宏工贸有限公司 一种智能勺子
CN203722822U (zh) * 2014-02-21 2014-07-16 张林阳 一种牙齿传导的音乐棒棒糖
CN104112060A (zh) * 2013-04-18 2014-10-22 索尼公司 信息处理装置和存储介质
US20150126873A1 (en) * 2013-11-04 2015-05-07 Robert A. Connor Wearable Spectroscopy Sensor to Measure Food Consumption
CN104871236A (zh) * 2012-12-21 2015-08-26 索尼公司 显示控制设备和记录介质
CN105009128A (zh) * 2013-02-28 2015-10-28 索尼公司 信息处理装置及存储介质
CN105793887A (zh) * 2013-12-06 2016-07-20 三星电子株式会社 用于捕获用户的食物消耗信息的方法和系统
US20160300508A1 (en) * 2015-04-13 2016-10-13 Umar Rahim Bakhsh Dynamic nutrition tracking utensils
CN106446508A (zh) * 2016-08-30 2017-02-22 陈维 智能筷子预测系统及利用该系统进行预测的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1045211A (zh) * 1990-04-11 1990-09-05 刘绍新 不用耳朵听音的助听装置
CN102640521A (zh) * 2009-10-02 2012-08-15 索尼图斯医疗公司 用于通过骨传导进行声音传递的口腔内器械
CN104871236A (zh) * 2012-12-21 2015-08-26 索尼公司 显示控制设备和记录介质
CN103070622A (zh) * 2013-02-09 2013-05-01 西安黛之宏工贸有限公司 一种智能勺子
CN105009128A (zh) * 2013-02-28 2015-10-28 索尼公司 信息处理装置及存储介质
CN104112060A (zh) * 2013-04-18 2014-10-22 索尼公司 信息处理装置和存储介质
US20150126873A1 (en) * 2013-11-04 2015-05-07 Robert A. Connor Wearable Spectroscopy Sensor to Measure Food Consumption
CN105793887A (zh) * 2013-12-06 2016-07-20 三星电子株式会社 用于捕获用户的食物消耗信息的方法和系统
CN203722822U (zh) * 2014-02-21 2014-07-16 张林阳 一种牙齿传导的音乐棒棒糖
US20160300508A1 (en) * 2015-04-13 2016-10-13 Umar Rahim Bakhsh Dynamic nutrition tracking utensils
CN106446508A (zh) * 2016-08-30 2017-02-22 陈维 智能筷子预测系统及利用该系统进行预测的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827723A (zh) * 2019-12-02 2020-02-21 董宁辉 应用于口含食品的讲解装置
WO2021243559A1 (zh) * 2020-06-02 2021-12-09 雷铭科技有限公司 基于骨传导的夹持装置和处理方法
WO2022141112A1 (zh) * 2020-12-29 2022-07-07 雷铭科技有限公司 骨传导发声装置及发声处理方法、设备、介质和程序产品
WO2023284156A1 (zh) * 2021-07-12 2023-01-19 刘博� 口含音乐播放装置
WO2023029205A1 (zh) * 2021-09-02 2023-03-09 声佗医疗科技(上海)有限公司 助听器及其口内机、体外机、控制方法和控制装置、存储介质

Also Published As

Publication number Publication date
CN109756834B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN109756834A (zh) 一种音频骨传导处理方法、装置和系统
US9524654B2 (en) Modifying a person's eating and activity habits
JP4283672B2 (ja) 健康及び壮健状態をモニターする装置
JP3846844B2 (ja) 身体装着型生活支援装置
US7914468B2 (en) Systems and methods for monitoring and modifying behavior
CN107405129A (zh) 用于捕获和输出关于身体特性的数据的系统、设备和方法
WO2014016718A1 (en) Tooth cleaning device and method of operation therefor
KR102304744B1 (ko) 웨어러블 단말기 및 이와 무선 통신하는 디스플레이 장치
JP4701039B2 (ja) 体に良い食事摂取をナビゲートする装置
JP2005021255A (ja) 制御装置及び制御方法
CN104077276A (zh) 一种便携式智能婴幼儿看护装置
JP2006320735A (ja) 身体装着型生活支援装置および方法
CN104811778A (zh) 具有患者特异性补充医疗内容的患者娱乐系统
TW201016167A (en) Interactive toothbrush and removeable audio output module
CN108429972A (zh) 音乐播放方法、装置、终端、耳机及可读存储介质
JP2020054839A (ja) 睡眠管理の方法及びシステム
KR101286357B1 (ko) 사용자에 반응하는 인터랙티브 식사도구
JP6528019B2 (ja) 食事摂取誘導システム
JP6761702B2 (ja) 食生活管理装置
KR20090003075A (ko) 구강건강 관리 시스템 및 그 방법과 그를 위한 전동칫솔
CN102043814B (zh) 一种医疗专业信息的传递方法和系统
JP2023039946A (ja) 食事シミュレーションシステム、食事シミュレーション方法、及びプログラム
JP2022082634A (ja) 被監視者監視システムの中央処理装置および中央処理方法
CN209733979U (zh) 久坐提醒器
KR20040019380A (ko) 건강, 건강관리 및 건강상태를 모니터링하기 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant