CN113225716A - 一种车载k歌实现方法、系统、设备及存储介质 - Google Patents

一种车载k歌实现方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN113225716A
CN113225716A CN202110433490.4A CN202110433490A CN113225716A CN 113225716 A CN113225716 A CN 113225716A CN 202110433490 A CN202110433490 A CN 202110433490A CN 113225716 A CN113225716 A CN 113225716A
Authority
CN
China
Prior art keywords
vehicle
audio
video data
signal
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110433490.4A
Other languages
English (en)
Inventor
张德明
丁向辉
陈诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Saibin Science & Technology Co ltd
Original Assignee
Beijing Saibin Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Saibin Science & Technology Co ltd filed Critical Beijing Saibin Science & Technology Co ltd
Priority to CN202110433490.4A priority Critical patent/CN113225716A/zh
Publication of CN113225716A publication Critical patent/CN113225716A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Abstract

本发明实施例提供了一种车载K歌实现方法、系统、设备及存储介质,通过混音技术对接收到的用户声音信号和音/视频信号进行处理,使两者更好地融合,然后,再将处理后的信号传输至车载功放装置进行车载K歌播放。这样,相比现有技术,经混音后播放,大大提高了车载K歌播放的音质和音效。本发明实施例更适合应用于车辆环境,提高了用户的车载K歌体验。

Description

一种车载K歌实现方法、系统、设备及存储介质
技术领域
本发明实施例涉及通信技术领域,具体涉及一种车载K歌实现方法、系统、设备及存储介质。
背景技术
随着智能汽车不断走入千家万户,车载娱乐系统也得到了不断更新,未来的汽车可以给用户提供更加丰富的娱乐功能,其中车载K歌或音视频K歌将会成为一种非常好的娱乐方式。
但是,现有技术中的车内K歌方法与其他环境的K歌方法并无区别,均通过手机直接实现K歌,单纯手机的扬声器音质不好,收音麦克风比较小,播放音质及音效较差。或者通过单纯通过K歌话筒进行K歌,并不是针对车内封闭空间设计,无法利用车内的高级音箱进行K歌,另外,也未进行混音处理,同样造成音质不好,播放效果差。
发明内容
为了克服现有技术中的技术缺陷,本发明实施例提供一种车载K歌实现方法、系统、设备及存储介质,解决了目前的车载K歌实现技术播放音质及音效差等技术问题。
为了实现上述目的,本发明实施例提供如下技术方案:
第一方面,本发明实施例提供一种车载K歌实现方法,所述方法应用于车载智能语音装置,其包括:与语音拾取装置建立通信连接,从所述语音拾取装置接收用户声音信号;与移动终端建立通信连接,从所述移动终端接受预先设定的音/视频数据流;将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;将所述第一预播放信号发送至车载功放装置,驱动扬声器进行播放。
进一步地,与语音拾取装置建立通信连接,包括:通过低时延高保真信道与所述语音拾取装置建立2.4GHZ全带信号通信连接。其中,低时延高保真信道包含的蓝牙通讯架构包括HFP(Hand-free Profile)协议、SWISS(Sabine Wireless Interactive SoundSystem,塞宾无线交互声音系统)Profile协议和A2DP Profile(Advanced AudioDistribution Profile)协议。
进一步地,与移动终端建立通信连接,其也包括蓝牙通讯架构HFP(Hand-freeProfile)协议、SWISS(Sabine Wireless Interactive Sound System,塞宾无线交互声音系统)Profile协议和A2DP Profil(Advanced Audio Distribution Profile)协议。上述协议的连接过程为:基于SDP发现附近的所述移动终端并完成配对;接收配对成功的所述移动终端的SWISS通信服务请求,基于RFCOMM通道建立SWISS通信协议连接;基于SWISS通信协议,将所述移动终端注册为所述车载智能语音装置或所述语音拾取装置的主机;通过A2DP/AVRCP协议的通道从所述移动终端接收所述音/视频数据流;与移动终端建立通信连接,还包括:通过HFP协议的通道与所述移动终端进行双向语音通信。
进一步地,上述一种车载K歌实现方法还包括:基于通信连接,从所述移动终端和所述语音拾取装置接收用户控制信号;将所述音/视频数据流、所述用户声音信号和所述用户控制信号按照预先设定方式混合,生成第一预播放信号;将所述第一预播放信号发送至车载功放装置,驱动扬声器进行播放。
进一步地,用户控制信号包括:自适应选曲控制信号、自动选歌控制信号,所述自适应选曲控制信号基于检测到的车辆周围的环境信息生成,所述自动选歌控制信号基于用户的播放历史选曲的总播放次数以及最近预设时间段内的播放次数生成。
进一步地,所述自动选歌控制信号基于所述用户实时跟踪信号生成,所述用户实时跟踪信号通过所述语音拾取装置获取。
进一步地,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,包括:将所述用户声音信号进行增益处理,与所述音/视频数据流相互适应。
进一步地,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,还包括:采集车辆周围声音信号;基于所述车辆周围声音信号生成环境噪音信号;利用所述环境噪音信号对所述第一预播放信号进行主动降噪处理,生成车辆封闭内空间中的第二预播放信号。
优选地,将所述第二预播放信号发送到车载显示屏并进行显示。
优选地,所述语音拾取装置包括手持麦克风、指向麦克风、车载麦克风,上述一种车载K歌实现方法还包括:检测车辆当前状态,判定所述车辆是否属于运动状态,如果所述车辆为运动状态,则禁止主驾驶员的手持麦克风的使用权限,开放所述主驾驶员的指向麦克风或车载麦克风的使用权限。
优选地,上述一种车载K歌实现方法还包括:获取N个音/视频数据流,其中N为大于1的整数;选择N个音/视频数据流中的一个作为基准音/视频数据流;将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理。
进一步地,选择N个音/视频数据流中的一个作为基准音/视频数据流,包括:获取N个音/视频数据流对应的数据来源;根据预设优先级判断所述数据来源的优先级,得到优先级结果;根据优先级结果,选择优先级结果高的数据来源对应的音/视频数据流作为基准音/视频数据流。
进一步地,将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理,包括:计算出基准音/视频数据流的数据速率A,分别计算其他N-1个音/视频数据流的数据速率BX;进而可获得其他N-1个音/视频相对于基准音/视频数据流的速率比例A/BX;根据速率比例关系,通过数字重采样,插值,波形相似重叠相加的方法,来对调整相应通道的速率。
第二方面,本发明实施例提供一种车载K歌实现方法,所述方法应用于车载智能语音装置,所述方法应用于车载智能语音装置,还包括:与语音拾取装置建立通信连接,从所述语音拾取装置接收用户声音信号;经由所述语音拾取装置与移动终端建立通信连接,从所述移动终端接受预先设定的音/视频数据流;将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;将所述第一预播放信号发送至车载功放装置,驱动扬声器进行播放。
进一步地,与语音拾取装置建立通信连接,包括:通过低时延高保真信道与所述语音拾取装置建立2.4GHZ全带信号通信连接。其中,低时延高保真信道包含的蓝牙通讯架构包括HFP(Hand-free Profile)协议、SWISS(Sabine Wireless Interactive SoundSystem,塞宾无线交互声音系统)Profile协议和A2DP Profile(Advanced AudioDistribution Profile)协议。
进一步地,与移动终端建立通信连接,其也包括蓝牙通讯架构HFP(Hand-freeProfile)协议、SWISS(Sabine Wireless Interactive Sound System,塞宾无线交互声音系统)Profile协议和A2DP Profile(Advanced Audio Distribution Profile)协议。上述协议的连接过程为:基于SDP发现附近的所述移动终端并完成配对;接收配对成功的所述移动终端的SWISS通信服务请求,基于RFCOMM通道建立SWISS通信协议连接;基于SWISS通信协议,将所述移动终端注册为所述车载智能语音装置或所述语音拾取装置的主机;通过A2DP/AVRCP协议的通道从所述移动终端接收所述音/视频数据流;与移动终端建立通信连接,还包括:通过HFP协议的通道与所述移动终端进行双向语音通信。
进一步地,上述一种车载K歌实现方法还包括:基于通信连接,从所述移动终端和所述语音拾取装置接收用户控制信号;将所述音/视频数据流、所述用户声音信号和所述用户控制信号按照预先设定方式混合,生成第一预播放信号;将所述第一预播放信号发送至载功放装置,驱动扬声器进行播放。
进一步地,用户控制信号包括:自适应选曲控制信号、自动选歌控制信号,所述自适应选曲控制信号基于检测到的车辆周围的环境信息生成,所述自动选歌控制信号基于用户的播放历史选曲的总播放次数以及最近预设时间段内的播放次数生成。
进一步地,所述自动选歌控制信号基于所述用户实时跟踪信号生成,所述用户实时跟踪信号通过所述语音拾取装置获取。
进一步地,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,包括:将所述用户声音信号进行增益处理,与所述音/视频数据流相互适应。
进一步地,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,还包括:采集车辆周围声音信号;基于所述车辆周围声音信号生成环境噪音信号;利用所述环境噪音信号对所述第一预播放信号进行主动降噪处理,生成车辆封闭内空间中的第二预播放信号。
优选地,将所述第二预播放信号发送到车载显示屏并进行显示。
优选地,所述语音拾取装置包括手持麦克风、指向麦克风、车载麦克风,上述一种车载K歌实现方法还包括:检测车辆当前状态,判定所述车辆是否属于运动状态,如果所述车辆为运动状态,则禁止主驾驶员的手持麦克风的使用权限,开放所述主驾驶员的指向麦克风或车载麦克风的使用权限。
优选地,上述一种车载K歌实现方法还包括:获取N个音/视频数据流,其中N为大于1的整数;选择N个音/视频数据流中的一个作为基准音/视频数据流;将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理。
进一步地,选择N个音/视频数据流中的一个作为基准音/视频数据流,包括:获取N个音/视频数据流对应的数据来源;根据预设优先级判断所述数据来源的优先级,得到优先级结果;根据优先级结果,选择优先级结果高的数据来源对应的音/视频数据流作为基准音/视频数据流。
进一步地,将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理,包括:计算出基准音/视频数据流的数据速率A,分别计算其他N-1个音/视频数据流的数据速率BX;进而可获得其他N-1个音/视频相对于基准音/视频数据流的速率比例A/BX;根据速率比例关系,通过数字重采样,插值,波形相似重叠相加的方法,来对调整相应通道的速率。
第三方面,本发明实施例提供一种车载K歌实现系统,所述系统应用于车载智能语音装置,其包括:第一通信模块,用于与语音拾取装置建立通信连接,从所述语音拾取装置接收用户声音信号;第二通信模块,用于与移动终端建立通信连接,从所述移动终端接受预先设定的音/视频数据流;处理模块,用于将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;输出模块,用于将所述第一预播放信号发送至车载功放装置,驱动扬声器进行播放。
优选的,第二通信模块与移动终端建立通信连接,具体包括:
基于SDP发现附近的所述移动终端并完成配对;
接收配对成功的所述移动终端的SWISS通信服务请求,基于RFCOMM通道建立SWISS通信协议连接;
基于SWISS通信协议,将所述移动终端注册为所述车载智能语音装置或所述语音拾取装置的主机;
通过A2DP/AVRCP协议的通道从所述移动终端接收所述音/视频数据流;
与移动终端建立通信连接,还包括:通过HFP协议的通道与所述移动终端进行双向语音通信。
第一通信模块与语音拾取装置建立通信连接,具体包括:
通过低时延高保真信道与所述语音拾取装置建立2.4GHZ全带信号通信连接。
所述车载智能语音装置还用于:
通过第一通信模块基于通信连接,从所述语音拾取装置接收用户控制信号;通过第二通信模块基于通信连接,从所述移动终端接收用户控制信号;
通过处理模块将所述音/视频数据流、所述用户声音信号和所述用户控制信号按照预先设定方式混合,生成第一预播放信号;
通过输出模块将所述第一预播放信号发送至输出模块,驱动扬声器进行播放。
所述用户控制信号包括:自适应选曲控制信号、自动选歌控制信号,所述自适应选曲控制信号基于检测到的车辆周围的环境信息生成,所述自动选歌控制信号基于用户的播放历史选曲的总播放次数以及最近预设时间段内的播放次数生成。
所述自动选歌控制信号基于所述用户实时跟踪信号生成,所述用户实时跟踪信号通过所述语音拾取装置获取。
通过所述处理模块将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,包括:将所述用户声音信号进行增益处理,与所述音/视频数据流相互适应。
通过所述处理模块将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,还包括:
采集车辆周围声音信号;
基于所述车辆周围声音信号生成环境噪音信号;
利用所述环境噪音信号对所述第一预播放信号进行主动降噪处理,生成车辆封闭内空间中的第二预播放信号。
所述输出模块还用于:将所述第一预播放信号发送到车载显示屏并进行显示。
所述语音拾取装置包括手持麦克风、指向麦克风、车载麦克风,所述处理模块还用于:
检测车辆当前状态,判定所述车辆是否属于运动状态,如果所述车辆为运动状态,则禁止主驾驶员的手持麦克风的使用权限,开放所述主驾驶员的指向麦克风或车载麦克风的使用权限。
所述处理模块还用于:
获取N个音/视频数据流,其中N为大于1的整数;
选择N个音/视频数据流中的一个作为基准音/视频数据流;
将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理。
所述处理模块选择N个音/视频数据流中的一个作为基准音/视频数据流,具体包括:
获取N个音/视频数据流对应的数据来源;
根据预设优先级判断所述数据来源的优先级,得到优先级结果;
根据优先级结果,选择优先级结果高的数据来源对应的音/视频数据流作为基准音/视频数据流。
所述处理模块将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理,具体包括:
计算出基准音/视频数据流的数据速率A,分别计算其他N-1个音/视频数据流的数据速率BX
进而可获得其他N-1个音/视频相对于基准音/视频数据流的速率比例A/BX
根据速率比例关系,通过数字重采样,插值,波形相似重叠相加的方法,来对调整相应通道的速率。
第四方面,本发明实施例提供一种车载K歌实现系统,所述系统应用于车载智能语音装置,其包括:第一通信模块,用于与语音拾取装置建立通信连接,从所述语音拾取装置接收用户声音信号;第二通信模块,用于经由所述语音拾取装置与移动终端建立通信连接,从所述移动终端接受预先设定的音/视频数据流;音/视频处理模块,用于将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;输出模块,用于将所述第一预播放信号发送至车载功放装置,驱动扬声器进行播放。
优选的,所述处理模块将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,具体还包括:
采集车辆周围声音信号;
基于所述车辆周围声音信号生成环境噪音信号;
利用所述环境噪音信号对所述第一预播放信号进行主动降噪处理,生成车辆封闭内空间中的第二预播放信号。
所述处理模块还用于:
获取N个音/视频数据流,其中N为大于1的整数;
选择N个音/视频数据流中的一个作为基准音/视频数据流;
将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理。
第五方面,本发明实施例提供一种车载K歌实现设备,包括:存储器,用于存储计算机程序;处理器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现如上述任一项所述一种无线数据通信方法的步骤。
第六方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述一种车载K歌方法的步骤。
本发明实施例提供了一种车载K歌实现方法、系统、设备及存储介质,通过混音技术对接收到的用户声音信号和音/视频信号进行处理,使两者更好地融合,然后,再将处理后的信号传输至车载功放装置进行车载K歌播放。这样,相比现有技术,经混音后播放,大大提高了车载K歌播放的音质和音效。本发明实施例更适合应用于车辆环境,提高了用户的车载K歌体验。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引申获得其它的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明一个实施例提供的车载智能语音装置与外围设备的通信交互示意图;
图2为本发明另一个实施例提供的车载智能语音装置与外围设备的通信交互示意图;
图3为本发明一个实施例提供的一种车载K歌实现系统的逻辑结构示意图;
图4为本发明另一个实施例提供的一种车载K歌实现系统的逻辑结构示意图;
图5为本发明一个实施例提供的一种车载K歌实现方法的流程示意图;
图6为本发明另一个实施例提供的一种车载K歌实现方法的流程示意图;
图7为本发明实施例提供的与移动终端建立通信连接的流程示意图;
图8为本发明一个实施例提供的基于SWISS通信协议在主从设备之间建立通信关系的交互示意图,其中,主设备内置有RFCOMM的IOS系统设备;
图9为本发明另一个实施例提供的基于SWISS通信协议在主从设备之间建立通信关系的交互示意图,其中,从设备未内置RFCOMM的Android系统设备;
图10为本发明实施例提供的车载智能语音装置通信协议架构示意图;
图11为本发明实施例提供的一种车载K歌实现方法的速率匹配处理的流程示意图;
图12为本发明实施例提供的选择N个音/视频数据流中的一个作为基准音/视频数据流的流程示意图;
图13为本发明实施例提供的将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率的流程示意图;
图14为本发明实施例提供的车载智能语音装置的应用于车辆的逻辑结构示意图。
图15为本发明实施例提供的车载智能语音装置的应用于车辆的逻辑结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了克服现有技术的缺陷,本发明实施例基于SWISS协议通过移动终端、语音拾取装置与车载智能语音装置建立通信连接,大大增强了用户体验,提高车载K歌效果。
参考图1和图3,本发明实施例提供一种车载K歌实现系统,所述系统应用于车载智能语音装置02,其包括:第一通信模块07、第二通信模块08、处理模块06和输出模块05。进一步地,第一通信模块07用于与语音拾取装置01建立通信连接,从所述语音拾取装置01接收用户声音信号;第二通信模块08,用于与移动终端03建立通信连接,从所述移动终端03接受预先设定的音/视频数据流;处理模块06,用于将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;输出模块05,用于将所述第一预播放信号发送至车载功放装置04,驱动扬声器进行播放。
本发明实施例方法或系统,由车载智能语音装置接收用户声音信号和音/视频信号,在车载智能语音装置上进行混音处理,进一步地将处理后的信号传输至车载功放装置进行车载K歌播放。相比现有技术,经混音后进行播放可有效提高车载K歌音质,从而提高用户的K歌体验。
与上述公开的一种车载K歌实现系统相对应,本发明实施例还公开了一种车载K歌实现方法。以下结合上述描述的一种车载K歌实现系统详细介绍本发明实施例中公开的一种车载K歌实现方法。
参考图1和图5,本发明实施例提供一种车载K歌实现方法,所述方法应用于车载智能语音装置02,其包括:与语音拾取装置01建立通信连接,从所述语音拾取装置01接收用户声音信号;与移动终端03建立通信连接,从所述移动终端03接受预先设定的音/视频数据流;将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;将所述第一预播放信号发送至车载功放装置04,驱动扬声器进行播放。
本发明实施例提供的方法及系统,由车载智能语音装置为中心,分别连接语音拾取装置和移动终端,接收相应的信号进行处理再输出。本方案解决了单纯依靠手机或麦克风K歌所导致音效不好,声音较小的技术缺陷。
进一步地,车载智能语音装置02与语音拾取装置01建立通信连接,包括:通过低时延高保真信道与所述语音拾取装置01建立2.4GHZ全带信号通信连接。其中,低时延高保真信道包含的蓝牙通讯架构参考图10,包括:HFP(Hand-free Profile)协议、SWISS(SabineWireless Interactive Sound System,塞宾无线交互声音系统)Profile协议和A2DPProfile(Advanced Audio Distribution Profile)协议。
目前已经出现了一些车载的无线手持麦克风,由麦克风拾取人声,转换为电信号并通过FM方式发送到车载收音机,并由车辆扬声器播放出来,但是这些麦克风的频率往往是固定的一个或多个频率,其中有一些可以用按钮或拨动开关来进行切换,设置好麦克风的频率后,再将车载收音机调整为与之相同的频率,以正常工作。但是车辆在行驶过程中,当前的FM频率很容易受到周边的其他车辆或者建筑物无线电设备的干扰,从而造成使用效果不佳,影响用户体验。本发明实施例中,由HFP、SWISS、A2DP三个协议栈控制低延时高保真信道,通过这三个协议栈,实现了不同设备之间的信息流、状态流、控制流的交互。替代了以往通过FM方式的通信方法,提升了车载K歌的私密性、抗干扰性、安全性。另外,目前通过麦克风以2.4GHz的方式连车载音箱K歌,该实现方式造成负载比较大,播放音效差,不能传输高保真的音乐。本发明实施例利用低时延高保真信道,解决了上述问题。
进一步地,车载智能语音装置02与移动终端03建立通信连接,参考图10,其包括:蓝牙通讯架构HFP(Hand-free Profile)协议、SWISS(Sabine Wireless InteractiveSound System,塞宾无线交互声音系统)Profile协议和A2DP Profile(Advanced AudioDistribution Profile)协议。上述协议的连接过程为:基于SDP发现附近的所述移动终端03并完成配对;接收配对成功的所述移动终端03的SWISS通信服务请求,基于RFCOMM通道建立SWISS通信协议连接;基于SWISS通信协议,将所述移动终端03注册为所述车载智能语音装置02或所述语音拾取装置01的主机;通过A2DP/AVRCP协议的通道从所述移动终端03接收所述音/视频数据流;与移动终端03建立通信连接,还包括:通过HFP协议的通道与所述移动终端03进行双向语音通信。
本发明实施例提供的方法,基于SWISS协议下区分主机与从机,在这种主从关系下设备之间完成信号流的交互,通过这种主从关系的标识,增加了设备之间信息流的交互效率。
在一个实施例中,参考图8,为本发明一个实施例提供的基于SWISS通信协议在主从设备之间建立通信关系的交互示意图,其中,主设备内置有RFCOMM的IOS系统设备。具体地,SWISS通信协议的通信设备之间的交互过程如下:
1.配对过程
配对过程是蓝牙的基本过程,是主机(手机、平板电脑、便携笔记本电脑、PC等)和设备(智能音箱、智能耳机、智能手柄、智能手表等)进行连接的过程。配对过程主要包括如下过程:
a.主机搜索附近可发现的从机设备(SDP服务);
b.主机选择某个从机设备,并启动配对过程;
c.交换PIN码等,完成安全连接,完成配对;
上述过程完成后,主机和从机设备之间,就建立了安全的蓝牙连接通道。所有的数据均是加密的,只有配对的设备才能够正确的解码数据,其他设备无法解密所传输的数据。
2.服务发现过程
a.服务发现过程依赖于SDP服务;
b.所有注册到SDP中的服务,均可被附近的设备搜索到;
c.通常这个过程在设备上称为搜索过程;
d.通过对SDP服务的查询,可以获得设备具备什么样的服务能力;
e.搜索到的服务请求中,包含了服务的UUID、通道号、服务别名等各种信息。
3.连接建立过程
a.根据服务请求中获得的信息,构建并发起连接请求;
b.这一步请求是建立在之前蓝牙“配对”过程上的,也即只有“配对”完成后,才能够进行此步操作;
c.这个连接是进行RFCOMM通道的连接。
4.数据传输过程
a.RFCOMM通道建立连接之后,就可以随时发送数据流和控制流;
b.系统中分为数据流、控制流、状态流,所有数据均按照统一的格式进行传输;
c.传输可以由Master(主机)或者Slave(从机)发起;
5.断开过程
a.断开过程可以由Master(主机)或者Slave(从机)发起;
b.会将RFCOMM连接断开;
c.断开后,开机状态下,可随时启动连接过程。
在一个实施例中,上述一种车载K歌实现方法还包括:基于通信连接,从所述移动终端03和所述语音拾取装置01接收用户控制信号;将所述音/视频数据流、所述用户声音信号和所述用户控制信号按照预先设定方式混合,生成第一预播放信号;将所述第一预播放信号发送至车载功放装置04,驱动扬声器进行播放。
本发明实施例提供的方法,将控制信号与声音信号按照设定的方式混合,生成的第一预播放带有控制属性,在K歌的过程中同时实现了用户的控制指令的执行。
本发明实施例中,语音拾取装置01可以为蓝牙麦克风,其通过蓝牙技术进行通信,其中,Bluetooth通过UUID(universally unique identifier)来标识该服务实例。所有的蓝牙技术联盟定义UUID共用一个基本的uuid:0x0000xxxx-0000-1000-8000-00805f9b34fb;本发明实施例描述的蓝牙麦克风特性使用0xb40b作为其16位UUID,服务实例完整的UUID为0x0000b40b-0000-1000-8000-00805f9b34fb,智能麦克风也存储有该UUID并且只处理该UUID标识的服务的请求。
本发明实施例中创建特征时需要提供标识该特征的UUID、property(属性)和permissions(权限),这样智能麦克风和智能车才能根据事先约定好的UUID、property和permissions来进行正常工作。本发明实现时为智能麦克风的各个功能分配的16位UUID为1001~1111,每个功能根据具体使用为其分配property和permissions,并将每个功能代表的Characteristic加入到service实例当中,这样建立BLE连接后就可以正常操作麦克风的功能了。
在一个实施例中,用户控制信号包括:自适应选曲控制信号、自动选歌控制信号,所述自适应选曲控制信号基于检测到的车辆周围的环境信息生成,所述自动选歌控制信号基于用户的播放历史选曲的总播放次数以及最近预设时间段内的播放次数生成。所述自动选歌控制信号基于所述用户实时跟踪信号生成,所述用户实时跟踪信号通过所述语音拾取装置01获取。
在一个实施例中,可以根据自适应选曲自适应选曲,根据环境影响(建筑物,城市、乡村、野外公路、高速公路、环境音量等)选择要播放的待K歌歌曲;例如,如果是检测到车辆周围的位于城市环境、且周围建筑物为高楼大厦,则可以自动播放一些如:《活着》、《佛系》、《你的酒馆对我打了烊》、《牧马城市》等,与城市相关的;进一步,如果检测到当前位置位于北京,则可以播放《北京北京》《北京爱情故事》《北京欢迎您》等有城市特点的歌曲;如果监测到当前位置位于农村,或野外,则可以自动播放一些乡村歌曲。本领域人员应当理解,此处仅仅为一种示例,本领域人员可以根据其他的情况,包括但是不限制与环境、空气、人员、背景声音、手持麦克风的人的特征等进行自适应的选取歌曲的操作。
在一个实施例中,根据用户的播放历史选区的总播放次数以及最近一段时间的播放次数自动选歌播放;例如,对一个月内的歌曲播放或K歌进行自动选歌并消音,以便用户进行K歌。
在一个实施例中,车载智能语音装置02还可以将混合后的视频信号(具体的,用于语音与歌曲音乐、MTV相互混合)发送到车机显示屏以便车机显示歌曲的内容,如mtv视频、歌词、进度、评分等。
本发明实施例提供的方法,由车载智能语音装置根据环境或者历史歌单来进行自动选歌,增加了车载K歌选曲的方式,增强了车载K歌的智能化。并且可以实现根据周围环境用户的播放历史情况为用户进行自动选歌。
在一个实施例中,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,包括:将所述用户声音信号进行增益处理,与所述音/视频数据流相互适应。
本发明实例,车载智能语音装置可将通过语音拾取装置收集用户语音信号放大,与车载K歌的歌曲相适应,进一步提高了音效。
在一个实施例中,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,还包括:采集车辆周围声音信号;基于所述车辆周围声音信号生成环境噪音信号;利用所述环境噪音信号对所述第一预播放信号进行主动降噪处理,生成车辆封闭内空间中的第二预播放信号。
本发明实例提供的方法,由车载智能语音装置02对采集后的噪音做降噪处理,再将处理后的信号播放出来,减少了环境噪音对K歌效果的的干扰,提高了密闭空间内的K歌体验。
在一个实施例中,本发明公开的一种车载K歌实现方法还包括:将所述第二预播放信号发送到车载显示屏并进行显示。
在一个实施例中,所述语音拾取装置01包括手持麦克风、指向麦克风、车载麦克风,上述一种车载K歌实现方法还包括:检测车辆当前状态,判定所述车辆是否属于运动状态,如果所述车辆为运动状态,则禁止主驾驶员的手持麦克风的使用权限,开放所述主驾驶员的指向麦克风或车载麦克风的使用权限。
本发明实施例提供的方法,依靠GPS和加速度传感器车辆状态进行检测去管理车辆使用者的使用权限,避免使用者在开车状态下进行车载K歌,大大提升了安全性。
在一个实施例中,上述混音处理需要对不同设备接收的信号进行速率匹配,参考图11,步骤包括:获取N个音/视频数据流,其中N为大于1的整数;选择N个音/视频数据流中的一个作为基准音/视频数据流;将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理。
具体地,在本发明实施例中,首先需要获取到待混音的音/视频数据流,例如,在实际中,一个K歌麦克风可能同时维持该设备跟手机、智能车机等建立多个连接,包括双向数据及控制通信的SWISS协议,也包括来自手机的下行A2DP音乐协议,还可以包括双向的HFP会话协议,比如一个用户可以通过该方法实现听着A2DP音乐的同时跟远程另一个用户打HFP电话,同时跟远程用户通过HFP分享音乐内容(本地用户的语音以及音乐的混音信号),通过SWISS协议把双方谈话以及本地音乐录下来。
在这种情况下,就需要对音/视频数据流进行混音,具体地,设备中的多协议内容互操作模块会同时得到本地语音信号(本地麦克风录制或者本地存储的信号VL<比如自动机器电台>)、远程用户的语音VR(通过HFP下行解码出来的)、A2DP下行立体声音乐流信号<ML,MR>,互操作模块中可以针对HFP上行信号VU进行这样的混音:VU=a*VL+b*ML+c*MR,其中a,b,c一般可以取绝对值大于等于零小于等于1的数。针对SWISS上行录音则可以进行三种信号的混音:左通道MixL=d*VL+e*VR+f*ML,右通道信号MixR=(1-d)*VL+(1-e)*VR+f*MR,其中d,e,f是大于等于零小于等于1的系数,然后对立体声信号<MixL,MixR>进行立体声编码,再通过SWISS通道实时传回移动终端03。从而实现了处理模块对不同设备传输过来信号的混音处理。
然而,不同来源的音/视频数据流即使采样率相同,也可能发生速率不匹配的情况,这是由于采样率相同,但各设备晶振差异导致的速率不匹配造成的,这也是现有技术中导致音话不同步的原因。
因此,需要对N个音/视频数据流,例如A2DP数据流,手机上的音/视频数据流,手机上的麦克音/视频流,麦克风上的音/视频数据流等,进行速率的匹配,具体地,可以选择N个音/视频数据流中的一个作为基准音频数据流。
具体地,参考图12,上述“选择N个音/视频数据流中的一个作为基准音/视频数据流”的步骤,包括:选择N个音/视频数据流中的一个作为基准音/视频数据流,包括:获取N个音/视频数据流对应的数据来源;根据预设优先级判断所述数据来源的优先级,得到优先级结果;根据优先级结果,选择优先级结果高的数据来源对应的音/视频数据流作为基准音/视频数据流。
在一个实施例中,可以根据具体的使用场景进行基准音/视频数据流的选择,例如在使用移动终端03进行听音乐时,那么可以将移动终端03上的音/视频数据作为基准音/视频数据流,也就是将移动终端03的优先级设置的比语音拾取装置01的优先级要高,当然也可以对车载智能语音装置02等其他设备的优先级进行设置,优先级设置应当适应不同的应用场景,可以根据应用场景进行具体的设置。当然,也可以在所有的音/视频数据流中频率最接近标准频率的音/视频数据流,具体地预设速率可以设置为11025Hz、22050Hz、24000Hz、44100Hz、48000Hz等比较常用的频率,当然,也可以采用其他的预设速率。选择N个音/视频数据流中最接近标准速率的音/视频数据流作为基准音/视频数据流可以减少需要调整的数据流的个数,减少计算量,减少对系统资源的占用。当然也可以直接采用预设速率作为基准速率对N个音/视频数据流进行调整,或者随机选择N个音/视频数据流中的任一作为基准音/视频数据流。
在一个实施例中,参考图13,上述“将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理”的步骤包括:将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理,包括:计算出基准音/视频数据流的数据速率A,分别计算其他N-1个音/视频数据流的数据速率BX;进而可获得其他N-1个音/视频相对于基准音/视频数据流的速率比例A/BX;根据速率比例关系,通过数字重采样,插值,波形相似重叠相加的方法,来对调整相应通道的速率。
本实施例中,速率不匹配的原因是不同设备之间采样率相同,但由于设备晶振差异导致的,处理器通过三部分的算法完成了速率匹配的处理,能够对音频数据流的些许差异进行调整,提高混音的效果。解决了音话不同步、无法实时耳返的问题大大提升了K歌效果。
另外,参考图14出示了本发明实施例提供的车载智能语音装置的应用于车辆的逻辑结构示意图,参所述车辆包括车载扬声器播放音量调整装置,该车辆主要还包括:中控装置、智能驾驶模块19、仪表盘16以及中控显示器17、HUD(Head Up Display,平视显示器)抬头显示器18。仪表盘16具有12.3寸LCD显示设备,该仪表盘可以采用TI的J6 CPU;仪表盘的操作系统可以基于QNX嵌入式系统,仪表盘可以用于显示车辆状态、车辆导航信息,所述车辆状态信息包括速度、转速、电量、胎压、车辆驻车、档位等。HUD抬头显示器18可以显示GPS导航信息、导航路径信息、时间信息等。
在一个实施例中,智能驾驶模块19可以用于处理与智能驾驶相关的操作,例如可以结合ADAS装置进行智能驾驶,该智能驾驶可以是完全无人的驾驶,也可以是驾驶员进行驾驶控制的辅助并线、车道偏移等高级辅助驾驶功能。
中控装置可以由多个模块组成,主要可以包括:主板09;SATA(Serial AdvancedTechnology Attachment,串行高级技术附件)模块11,连接到如SSD10的存储设备,可以用来存储数据信息;AM(Amplitude Modulation,调幅)/FM(Frequency Modulation,调频)模块12,为车辆提供收音机的功能;LTE(Long Term Evolution,长期演进)通信模块14,为车辆提供与电信运营商的通信功能;电源模块15,电源模块15为该中控装置提供电源;Switch转接模块13,该Switch转接模块13可以作为一种可扩展的接口连接多种传感器,例如如果需要添加夜视功能传感器、PM2.5功能传感器,可以通过该Switch转接模块13连接到中控装置的主板,以便中控装置的处理器进行数据处理,并将数据传输给中控显示器。
参考图2和图4,本发明实施例还提供了一种车载K歌实现系统,所述系统应用于车载智能语音装置02,其包括:第一通信模块07,用于与语音拾取装置01建立通信连接,从所述语音拾取装置01接收用户声音信号;第二通信模块08,用于经由所述语音拾取装置01与移动终端03建立通信连接,从所述移动终端03接受预先设定的音/视频数据流;音/视频处理模块,用于将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;输出模块,用于将所述第一预播放信号发送至车载功放装置04,驱动扬声器进行播放。
本发明实施例,由车载智能语音装置02接收用户声音信号和音/视频信号,在车载智能语音装置02上进行混音处理,进一步地将处理后的信号传输至车载功放装置04进行车载K歌播放。相比现有技术,经混音后进行播放可有效提高车载K歌音质,从而提高用户的K歌体验。
与上述公开的一种车载K歌实现系统相对应,本发明实施例还公开了一种车载K歌实现方法。以下结合上述描述的一种车载K歌实现系统详细介绍本发明实施例中公开的一种车载K歌实现方法。
参考图2和图6,本发明实施例提供一种车载K歌实现方法,所述方法应用于车载智能语音装置02,所述方法应用于车载智能语音装置02,还包括:车载智能语音装置02与语音拾取装置01建立通信连接,从所述语音拾取装置01接收用户声音信号;经由所述语音拾取装置01与移动终端03建立通信连接,从所述移动终端03接受预先设定的音/视频数据流;将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;将所述第一预播放信号发送至车载功放装置04,驱动扬声器进行播放。
本发明实施例,由车载智能语音装置为中心,分别连接语音拾取装置和移动终端,接收相应的信号进行处理再输出。本方案解决了单纯依靠手机或麦克风K歌所导致音效不好,声音较小的技术缺陷。
在一个实施例中,与语音拾取装置01建立通信连接,包括:通过低时延高保真信道与所述语音拾取装置01建立2.4GHZ全带信号通信连接。其中,低时延高保真信道包含的蓝牙通讯架构参考图10包括HFP(Hand-free Profile)协议、SWISS(Sabine WirelessInteractive Sound System,塞宾无线交互声音系统)Profile协议和A2DP Profile(Advanced Audio Distribution Profile)协议。
目前已经出现了一些车载的无线手持麦克风,由麦克风拾取人声,转换为电信号并通过FM方式发送到车载收音机,并由车辆扬声器播放出来,但是这些麦克风的频率往往是固定的一个或多个频率,其中有一些可以用按钮或拨动开关来进行切换,设置好麦克风的频率后,再将车载收音机调整为与之相同的频率,以正常工作。但是车辆在行驶过程中,当前的FM频率很容易受到周边的其他车辆或者建筑物无线电设备的干扰,从而造成使用效果不佳,影响用户体验。本发明实施例中,由HFP、SWISS、A2DP三个协议栈控制低延时高保真信道,通过这三个协议栈,实现了不同设备之间的信息流、状态流、控制流的交互。替代了以往通过FM方式的通信方法,提升了车载K歌的私密性、抗干扰性、安全性。另外,目前通过麦克风以2.4GHz的方式连车载音箱K歌,该实现方式造成负载比较大,播放音效差,不能传输高保真的音乐。本发明实施例利用低时延高保真信道,解决了上述问题。
在一个实施例中,车载智能语音装置02与移动终端03建立通信连接,参考图10,其包括:蓝牙通讯架构HFP(Hand-free Profile)协议、SWISS(Sabine Wireless InteractiveSound System,塞宾无线交互声音系统)Profile协议和A2DP Profile(Advanced AudioDistribution Profile)协议。参考图7,上述协议的连接过程为:基于SDP发现附近的所述移动终端03并完成配对;接收配对成功的所述移动终端03的SWISS通信服务请求,基于RFCOMM通道建立SWISS通信协议连接;基于SWISS通信协议,将所述移动终端03注册为所述车载智能语音装置02或所述语音拾取装置01的主机;通过A2DP/AVRCP协议的通道从所述移动终端03接收所述音/视频数据流;与移动终端03建立通信连接,还包括:通过HFP协议的通道与所述移动终端03进行双向语音通信。
本发明实施例,基于SWISS协议下区分主机与从机,在这种主从关系下设备之间完成信号流的交互,通过这种主从关系的标识,增加了设备之间信息流的交互效率。
在一个实施例中,参考图9,为本发明一个实施例提供的基于SWISS通信协议在主从设备之间建立通信关系的交互示意图,其中,从设备未内置有RFCOMM的Android系统设备。具体地,SWISS通信协议的通信设备之间的交互过程如下:1.配对过程
配对过程是蓝牙的基本过程,是主机(手机、平板电脑、便携笔记本电脑、PC等)和设备(智能音箱、智能耳机、智能手柄、智能手表等)进行连接的过程。配对过程主要包括如下过程:
a.主机搜索附近可发现的从机设备(SDP服务);
b.主机选择某个从机设备,并启动配对过程;
c.交换PIN码等,完成安全连接,完成配对;
上述过程完成后,主机和从机设备之间,就建立了安全的蓝牙连接通道。所有的数据均是加密的,只有配对的设备才能够正确的解码数据,其他设备无法解密所传输的数据。
2.服务发现过程
a.服务发现过程依赖于SDP服务;
b.所有注册到SDP中的服务,均可被附近的设备搜索到;
c.通常这个过程在设备上称为搜索过程;
d.通过对SDP服务的查询,可以获得设备具备什么样的服务能力;
e.搜索到的服务请求中,包含了服务的UUID、通道号、服务别名等各种信息。
3.连接建立过程
a.根据服务请求中获得的信息,构建并发起连接请求;
b.这一步请求是建立在之前蓝牙“配对”过程上的,也即只有“配对”完成后,才能够进行此步操作;
c.这个连接是进行RFCOMM通道的连接。
4.数据传输过程
a.RFCOMM通道建立连接之后,就可以随时发送数据流和控制流;
b.系统中分为数据流、控制流、状态流,所有数据均按照统一的格式进行传输;
c.传输可以由Master(主机)或者Slave(从机)发起;
5.断开过程
a.断开过程可以由Master(主机)或者Slave(从机)发起;
b.会将RFCOMM连接断开;
c.断开后,开机状态下,可随时启动连接过程。
在一个实施例中,上述一种车载K歌实现方法还包括:基于通信连接,从所述移动终端03和所述语音拾取装置01接收用户控制信号;将所述音/视频数据流、所述用户声音信号和所述用户控制信号按照预先设定方式混合,生成第一预播放信号;将所述第一预播放信号发送至车载功放装置04,驱动扬声器进行播放。
本发明实施例,将控制信号与声音信号按照设定的方式混合,生成的第一预播放带有控制属性,在K歌的过程中同时实现了用户的控制指令的执行。
本发明实施例中,语音拾取装置01可以为蓝牙麦克风,其通过蓝牙技术进行通信,其中,Bluetooth通过UUID(universally unique identifier)来标识该服务实例。所有的蓝牙技术联盟定义UUID共用一个基本的uuid:0x0000xxxx-0000-1000-8000-00805f9b34fb;本发明实施例描述的蓝牙麦克风特性使用0xb40b作为其16位UUID,服务实例完整的UUID为0x0000b40b-0000-1000-8000-00805f9b34fb,智能麦克风也存储有该UUID并且只处理该UUID标识的服务的请求。
本发明实施例中创建特征时需要提供标识该特征的UUID、property(属性)和permissions(权限),这样智能麦克风和智能车才能根据事先约定好的UUID、property和permissions来进行正常工作。本发明实现时为智能麦克风的各个功能分配的16位UUID为1001~1111,每个功能根据具体使用为其分配property和permissions,并将每个功能代表的Characteristic加入到service实例当中,这样建立BLE连接后就可以正常操作麦克风的功能了。
在一个实施例中,用户控制信号包括:自适应选曲控制信号、自动选歌控制信号,所述自适应选曲控制信号基于检测到的车辆周围的环境信息生成,所述自动选歌控制信号基于用户的播放历史选曲的总播放次数以及最近预设时间段内的播放次数生成。所述自动选歌控制信号基于所述用户实时跟踪信号生成,所述用户实时跟踪信号通过所述语音拾取装置01获取。
在一个实施例中,可以根据自适应选曲自适应选曲,根据环境影响(建筑物,城市、乡村、野外公路、高速公路、环境音量等)选择要播放的待K歌歌曲;例如,如果是检测到车辆周围的位于城市环境、且周围建筑物为高楼大厦,则可以自动播放一些如:《活着》、《佛系》、《你的酒馆对我打了烊》、《牧马城市》等,与城市相关的;进一步,如果检测到当前位置位于北京,则可以播放《北京北京》《北京爱情故事》《北京欢迎您》等有城市特点的歌曲;如果监测到当前位置位于农村,或野外,则可以自动播放一些乡村歌曲。
在一个实施例中,根据用户的播放历史选区的总播放次数以及最近一段时间的播放次数自动选歌播放;例如,对一个月内的歌曲播放或K歌进行自动选歌并消音,以便用户进行K歌。
在一个实施例中,车载智能语音装置02还可以将混合后的视频信号(具体的,用于语音与歌曲音乐、MTV相互混合)发送到车机显示屏以便车机显示歌曲的内容,如mtv视频、歌词、进度、评分等。
本发明实施例,由车载智能语音装置根据环境或者历史歌单来进行自动选歌,增加了车载K歌选曲的方式,增强了车载K歌的智能化。并且可以实现根据周围环境用户的播放历史情况为用户进行自动选歌。
在一个实施例中,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,包括:将所述用户声音信号进行增益处理,与所述音/视频数据流相互适应。
本发明实例,车载智能语音装置可将通过语音拾取装置收集用户语音信号放大,与车载K歌的歌曲相适应,进一步提高了音效。
在一个实施例中,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,还包括:采集车辆周围声音信号;基于所述车辆周围声音信号生成环境噪音信号;利用所述环境噪音信号对所述第一预播放信号进行主动降噪处理,生成车辆封闭内空间中的第二预播放信号。
本发明实例,由车载智能语音装置02对采集后的噪音做降噪处理,再将处理后的信号播放出来,减少了环境噪音对K歌效果的的干扰,提高了密闭空间内的K歌体验。
在一个实施例中,本发明实施例公开的一种车载K歌实现方法还包括:将所述第二预播放信号发送到车载显示屏并进行显示。
在一个实施例中,所述语音拾取装置01包括手持麦克风、指向麦克风、车载麦克风,上述一种车载K歌实现方法还包括:检测车辆当前状态,判定所述车辆是否属于运动状态,如果所述车辆为运动状态,则禁止主驾驶员的手持麦克风的使用权限,开放所述主驾驶员的指向麦克风或车载麦克风的使用权限。
本发明实例,依靠GPS和加速度传感器车辆状态进行检测去管理车辆使用者的使用权限,避免使用者在开车状态下进行车载K歌,大大提升了安全性。
在一个实施例中,上述混音处理需要对不同设备接收的信号进行速率匹配,参考图11,步骤包括:获取N个音/视频数据流,其中N为大于1的整数;选择N个音/视频数据流中的一个作为基准音/视频数据流;将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理。
具体地,在本发明实施例中,首先需要获取到待混音的音/视频数据流,例如,在实际中,一个K歌麦克风可能同时维持该设备跟手机、智能车机等建立多个连接,包括双向数据及控制通信的SWISS协议,也包括来自手机的下行A2DP音乐协议,还可以包括双向的HFP会话协议,比如一个用户可以通过该方法实现听着A2DP音乐的同时跟远程另一个用户打HFP电话,同时跟远程用户通过HFP分享音乐内容(本地用户的语音以及音乐的混音信号),通过SWISS协议把双方谈话以及本地音乐录下来。
在这种情况下,就需要对音/视频数据流进行混音,具体地,设备中的多协议内容互操作模块会同时得到本地语音信号(本地麦克风录制或者本地存储的信号VL<比如自动机器电台>)、远程用户的语音VR(通过HFP下行解码出来的)、A2DP下行立体声音乐流信号<ML,MR>,互操作模块中可以针对HFP上行信号VU进行这样的混音:VU=a*VL+b*ML+c*MR,其中a,b,c一般可以取绝对值大于等于零小于等于1的数。针对SWISS上行录音则可以进行三种信号的混音:左通道MixL=d*VL+e*VR+f*ML,右通道信号MixR=(1-d)*VL+(1-e)*VR+f*MR,其中d,e,f是大于等于零小于等于1的系数,然后对立体声信号<MixL,MixR>进行立体声编码,再通过SWISS通道实时传回移动终端03。从而实现了处理模块对不同设备传输过来信号的混音处理。
然而,不同来源的音/视频数据流即使采样率相同,也可能发生速率不匹配的情况,这是由于采样率相同,但各设备晶振差异导致的速率不匹配造成的,这也是现有技术中导致音话不同步的原因。
因此,需要对N个音/视频数据流,例如A2DP数据流,手机上的音/视频数据流,手机上的麦克音/视频流,麦克风上的音/视频数据流等,进行速率的匹配,具体地,可以选择N个音/视频数据流中的一个作为基准音频数据流。
具体地,参考图12,上述“选择N个音/视频数据流中的一个作为基准音/视频数据流”的步骤,包括:选择N个音/视频数据流中的一个作为基准音/视频数据流,包括:获取N个音/视频数据流对应的数据来源;根据预设优先级判断所述数据来源的优先级,得到优先级结果;根据优先级结果,选择优先级结果高的数据来源对应的音/视频数据流作为基准音/视频数据流。
在一个实施例中,具体可以根据具体的使用场景进行基准音/视频数据流的选择,例如在使用移动终端03进行听音乐时,那么可以将移动终端03上的音/视频数据作为基准音/视频数据流,也就是将移动终端03的优先级设置的比语音拾取装置01的优先级要高,当然也可以对车载智能语音装置02等其他设备的优先级进行设置,优先级设置应当适应不同的应用场景,可以根据应用场景进行具体的设置。当然,也可以在所有的音/视频数据流中频率最接近标准频率的音/视频数据流,具体地预设速率可以设置为11025Hz、22050Hz、24000Hz、44100Hz、48000Hz等比较常用的频率,当然,也可以采用其他的预设速率。选择N个音/视频数据流中最接近标准速率的音/视频数据流作为基准音/视频数据流可以减少需要调整的数据流的个数,减少计算量,减少对系统资源的占用。当然也可以直接采用预设速率作为基准速率对N个音/视频数据流进行调整,或者随机选择N个音/视频数据流中的任一作为基准音/视频数据流。
在一个实施例中,参考图13,上述“将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理”的步骤包括:将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理,包括:计算出基准音/视频数据流的数据速率A,分别计算其他N-1个音/视频数据流的数据速率BX;进而可获得其他N-1个音/视频相对于基准音/视频数据流的速率比例A/BX;根据速率比例关系,通过数字重采样,插值,波形相似重叠相加的方法,来对调整相应通道的速率。
本实施例中,速率不匹配的原因是不同设备之间采样率相同,但由于设备晶振差异导致的,处理器通过三部分的算法完成了速率匹配的处理,能够对音频数据流的些许差异进行调整,提高混音的效果。解决了音话不同步、无法实时耳返的问题大大提升了K歌效果。
另外,参考图15出示了本发明实施例提供的车载智能语音装置的应用于车辆的逻辑结构示意图,参所述车辆包括车载扬声器播放音量调整装置,该车辆主要还包括:中控装置、智能驾驶模块19、仪表盘16以及中控显示器17、HUD(Head Up Display,平视显示器)抬头显示器18。仪表盘16具有12.3寸LCD显示设备,该仪表盘可以采用TI的J6 CPU;仪表盘的操作系统可以基于QNX嵌入式系统,仪表盘可以用于显示车辆状态、车辆导航信息,所述车辆状态信息包括速度、转速、电量、胎压、车辆驻车、档位等。HUD抬头显示器18可以显示GPS导航信息、导航路径信息、时间信息等。
在一个实施例中,智能驾驶模块19可以用于处理与智能驾驶相关的操作,例如可以结合ADAS装置进行智能驾驶,该智能驾驶可以是完全无人的驾驶,也可以是驾驶员进行驾驶控制的辅助并线、车道偏移等高级辅助驾驶功能。
中控装置可以由多个模块组成,主要可以包括:主板09;SATA(Serial AdvancedTechnology Attachment,串行高级技术附件)模块11,连接到如SSD10的存储设备,可以用来存储数据信息;AM(Amplitude Modulation,调幅)/FM(Frequency Modulation,调频)模块12,为车辆提供收音机的功能;LTE(Long Term Evolution,长期演进)通信模块14,为车辆提供与电信运营商的通信功能;电源模块15,电源模块15为该中控装置提供电源;Switch转接模块13,该Switch转接模块13可以作为一种可扩展的接口连接多种传感器,例如如果需要添加夜视功能传感器、PM2.5功能传感器,可以通过该Switch转接模块13连接到中控装置的主板,以便中控装置的处理器进行数据处理,并将数据传输给中控显示器。
本发明实施例提供一种车载K歌实现设备,包括:存储器,用于存储计算机程序;处理器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现如上述任一项所述一种无线数据通信方法的步骤。
本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述一种车载K歌方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,设备和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,功能调用设备,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (20)

1.一种车载K歌实现方法,其特征在于,所述方法应用于车载智能语音装置,其包括:
与语音拾取装置建立通信连接,从所述语音拾取装置接收用户声音信号;
与移动终端建立通信连接,从所述移动终端接受预先设定的音/视频数据流;
将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;
将所述第一预播放信号发送至车载功放装置,驱动扬声器进行播放。
2.根据权利要求1所述的一种车载K歌实现方法,其特征在于,与移动终端建立通信连接,包括:
基于SDP发现附近的所述移动终端并完成配对;
接收配对成功的所述移动终端的SWISS通信服务请求,基于RFCOMM通道建立SWISS通信协议连接;
基于SWISS通信协议,将所述移动终端注册为所述车载智能语音装置或所述语音拾取装置的主机;
通过A2DP/AVRCP协议的通道从所述移动终端接收所述音/视频数据流;
与移动终端建立通信连接,还包括:通过HFP协议的通道与所述移动终端进行双向语音通信。
3.根据权利要求1所述的一种车载K歌实现方法,其特征在于,与语音拾取装置建立通信连接,包括:
通过低时延高保真信道与所述语音拾取装置建立2.4GHZ全带信号通信连接。
4.根据权利要求1所述的一种车载K歌实现方法,其特征在于,所述方法还包括:
基于通信连接,从所述移动终端和所述语音拾取装置接收用户控制信号;
将所述音/视频数据流、所述用户声音信号和所述用户控制信号按照预先设定方式混合,生成第一预播放信号;
将所述第一预播放信号发送至车载功放装置,驱动扬声器进行播放。
5.根据权利要求4所述的一种车载K歌实现方法,其特征在于,用户控制信号包括:自适应选曲控制信号、自动选歌控制信号,所述自适应选曲控制信号基于检测到的车辆周围的环境信息生成,所述自动选歌控制信号基于用户的播放历史选曲的总播放次数以及最近预设时间段内的播放次数生成。
6.根据权利要求5所述的一种车载K歌实现方法,其特征在于,所述自动选歌控制信号基于用户实时跟踪信号生成,所述用户实时跟踪信号通过所述语音拾取装置获取。
7.根据权利要求1所述的一种车载K歌实现方法,其特征在于,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,包括:将所述用户声音信号进行增益处理,与所述音/视频数据流相互适应。
8.根据权利要求7所述一种车载K歌实现方法,其特征在于,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,还包括:
采集车辆周围声音信号;
基于所述车辆周围声音信号生成环境噪音信号;
利用所述环境噪音信号对所述第一预播放信号进行主动降噪处理,生成车辆封闭内空间中的第二预播放信号。
9.根据权利要求1所述的一种车载K歌实现方法,其特征在于,所述方法还包括:将所述第一预播放信号发送到车载显示屏并进行显示。
10.根据权利要求1所述一种车载K歌实现方法,其特征在于,所述语音拾取装置包括手持麦克风、指向麦克风、车载麦克风,所述方法还包括:
检测车辆当前状态,判定所述车辆是否属于运动状态,如果所述车辆为运动状态,则禁止主驾驶员的手持麦克风的使用权限,开放所述主驾驶员的指向麦克风或车载麦克风的使用权限。
11.根据权利要求1所述一种车载K歌实现方法,其特征在于,所述方法还包括:
获取N个音/视频数据流,其中N为大于1的整数;
选择N个音/视频数据流中的一个作为基准音/视频数据流;
将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理。
12.根据权利要求11所述一种车载K歌实现方法,其特征在于,选择N个音/视频数据流中的一个作为基准音/视频数据流,包括:
获取N个音/视频数据流对应的数据来源;
根据预设优先级判断所述数据来源的优先级,得到优先级结果;
根据优先级结果,选择优先级结果高的数据来源对应的音/视频数据流作为基准音/视频数据流。
13.根据权利要求11所述一种车载K歌实现方法,其特征在于,将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理,包括:
计算出基准音/视频数据流的数据速率A,分别计算其他N-1个音/视频数据流的数据速率BX
进而可获得其他N-1个音/视频相对于基准音/视频数据流的速率比例A/BX
根据速率比例关系,通过数字重采样,插值,波形相似重叠相加的方法,来对调整相应通道的速率。
14.一种车载K歌实现方法,其特征在于,所述方法应用于车载智能语音装置,其包括:
与语音拾取装置建立通信连接,从所述语音拾取装置接收用户声音信号;
经由所述语音拾取装置与移动终端建立通信连接,从所述移动终端接受预先设定的音/视频数据流;
将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;
将所述第一预播放信号发送至车载功放装置,驱动扬声器进行播放。
15.根据权利要求14所述一种车载K歌实现方法,其特征在于,将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号,还包括:
采集车辆周围声音信号;
基于所述车辆周围声音信号生成环境噪音信号;
利用所述环境噪音信号对所述第一预播放信号进行主动降噪处理,生成车辆封闭内空间中的第二预播放信号。
16.根据权利要求14所述一种车载K歌实现方法,其特征在于,所述方法还包括:
获取N个音/视频数据流,其中N为大于1的整数;
选择N个音/视频数据流中的一个作为基准音/视频数据流;
将其余的N-1个所述音/视频数据流调整到所述基准音/视频数据流的平均速率,以便对N个所述音/视频数据流进行混合处理。
17.一种车载K歌实现系统,其特征在于,所述系统应用于车载智能语音装置,其包括:
第一通信模块,用于与语音拾取装置建立通信连接,从所述语音拾取装置接收用户声音信号;
第二通信模块,用于与移动终端建立通信连接,从所述移动终端接受预先设定的音/视频数据流;
处理模块,用于将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;
输出模块,用于将所述第一预播放信号发送至车载功放装置,驱动扬声器进行播放。
18.一种车载K歌实现系统,其特征在于,所述系统应用于车载智能语音装置,其包括:
第一通信模块,用于与语音拾取装置建立通信连接,从所述语音拾取装置接收用户声音信号;
第二通信模块,用于经由所述语音拾取装置与移动终端建立通信连接,从所述移动终端接受预先设定的音/视频数据流;
处理模块,用于将所述音/视频数据流和所述用户声音信号按照预先设定方式混合处理,生成第一预播放信号;
输出模块,用于将所述第一预播放信号发送至车载功放装置,驱动扬声器进行播放。
19.一种车载K歌实现设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至16任一项所述一种车载K歌实现方法的步骤。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至16任一项所述一种车载K歌实现方法的步骤。
CN202110433490.4A 2021-04-19 2021-04-19 一种车载k歌实现方法、系统、设备及存储介质 Pending CN113225716A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110433490.4A CN113225716A (zh) 2021-04-19 2021-04-19 一种车载k歌实现方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110433490.4A CN113225716A (zh) 2021-04-19 2021-04-19 一种车载k歌实现方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113225716A true CN113225716A (zh) 2021-08-06

Family

ID=77088404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110433490.4A Pending CN113225716A (zh) 2021-04-19 2021-04-19 一种车载k歌实现方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113225716A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808611A (zh) * 2021-09-17 2021-12-17 深圳地平线机器人科技有限公司 音频播放方法、装置、计算机可读存储介质及电子设备
WO2023202370A1 (zh) * 2022-04-19 2023-10-26 比亚迪股份有限公司 车载k歌系统的控制方法、系统、车辆及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225102A (zh) * 2020-01-17 2020-06-02 北京塞宾科技有限公司 一种蓝牙音频信号传输方法和装置
CN111754965A (zh) * 2019-03-29 2020-10-09 比亚迪股份有限公司 车载k歌装置、方法和车辆
CN111968611A (zh) * 2020-08-12 2020-11-20 上海仙塔智能科技有限公司 K歌方法、车载终端及计算机可读存储介质
US20200402513A1 (en) * 2019-06-19 2020-12-24 Baidu Online Network Technology (Beijing) Co., Ltd. Bluetooth speaker base, method and system for controlling thereof
CN112272338A (zh) * 2020-10-28 2021-01-26 重庆百瑞互联电子技术有限公司 一种无线麦克风设备及k歌方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754965A (zh) * 2019-03-29 2020-10-09 比亚迪股份有限公司 车载k歌装置、方法和车辆
US20200402513A1 (en) * 2019-06-19 2020-12-24 Baidu Online Network Technology (Beijing) Co., Ltd. Bluetooth speaker base, method and system for controlling thereof
CN111225102A (zh) * 2020-01-17 2020-06-02 北京塞宾科技有限公司 一种蓝牙音频信号传输方法和装置
CN111968611A (zh) * 2020-08-12 2020-11-20 上海仙塔智能科技有限公司 K歌方法、车载终端及计算机可读存储介质
CN112272338A (zh) * 2020-10-28 2021-01-26 重庆百瑞互联电子技术有限公司 一种无线麦克风设备及k歌方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张余: "基于"互联网+"的车载音乐控制系统", 《工业设计》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808611A (zh) * 2021-09-17 2021-12-17 深圳地平线机器人科技有限公司 音频播放方法、装置、计算机可读存储介质及电子设备
WO2023202370A1 (zh) * 2022-04-19 2023-10-26 比亚迪股份有限公司 车载k歌系统的控制方法、系统、车辆及存储介质

Similar Documents

Publication Publication Date Title
US8346310B2 (en) Method and apparatus for communication between a vehicle based computing system and a remote application
RU2554848C2 (ru) Система и способ бесконтактного управления приложением &#34;электронный календарь&#34; в транспортном средстве
US20100048133A1 (en) Audio data flow input/output method and system
US8867997B2 (en) Short-range communication system, in-vehicle apparatus, and portable communication terminal
US20150359015A1 (en) Methods for prioritizing and routing audio signals between consumer electronic devices
US20180308462A1 (en) Karaoke device
CN103685573A (zh) 一种用于汽车与智能终端间的互动系统
US9841293B2 (en) In-vehicle display system for navigation and additional functions
CN105790802A (zh) 一种双机互联模式下音源管理方法
JP4645318B2 (ja) 無線通信装置とその方法
CN113225716A (zh) 一种车载k歌实现方法、系统、设备及存储介质
US8265711B2 (en) Data processing system and method for in-vehicle short range wireless communication network
CN110113728B (zh) 音频数据传输方法,车机平台、车机与可读存储介质
RU2627127C2 (ru) Система и способ ослабления звука в транспортном средстве для прослушивания указаний от мобильных приложений
JP2013021632A (ja) 車両用通信システム、携帯通信端末、および、車両用機器
US7660602B2 (en) Full-duplex radio speaker system and associated method
JP2012528418A (ja) Cpns環境におけるコンテンツ出力システム及び方法
CN106357786B (zh) 一种基于dtmf的车载无线交互方法及其系统
CN103139693A (zh) 机动车音频系统和在机动车内部空间中产生声波图的方法
JP2013126092A (ja) 近距離無線通信システム
US20160006858A1 (en) Method and system for a vehicle computing system to communicate with a nomadic device via an auxiliary port
CN114531671A (zh) 一种基于蓝牙和dlna技术融合的汽车音频播放控制方法
CN102723972A (zh) 基于蓝牙的车载信息服务系统及其外设的通讯方法
JP2013236346A (ja) 車載装置
CN114885440B (zh) 多个音频设备间语音通话的方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210806