CN112637743A

CN112637743A - 一种投屏信号处理方法、终端及计算机可读存储介质

Info

Publication number: CN112637743A
Application number: CN202011484918.XA
Authority: CN
Inventors: 王冲
Original assignee: Nubia Technology Co Ltd
Current assignee: Nubia Technology Co Ltd
Priority date: 2020-12-16
Filing date: 2020-12-16
Publication date: 2021-04-09

Abstract

本发明公开了一种投屏信号处理方法、终端及计算机可读存储介质，该方法通过获取投屏设备与播放设备之间的距离；根据距离获取第一声音信号与第二声音信号被投屏设备采集的时间差作为估计延迟时间；在投屏设备采集到第一声音信号的估计延迟时间后，根据第一声音信号对投屏设备当前采集的声音信号进行回声消除，解决了现有的回声消除手段难以对一些投屏场景下产生的回声进行有效消除的问题，减少了投屏中的产生的回声，抑制啸叫，提升用户体验，本发明还公开了一种设备及计算机可读存储介质，通过实施上述方案，实现了减少了投屏中的产生的回声，抑制啸叫，提升用户体验的效果。

Description

一种投屏信号处理方法、终端及计算机可读存储介质

技术领域

本发明涉及通信技术领域，更具体地说，涉及一种投屏信号处理方法、终端及计算机可读存储介质。

背景技术

投屏功能是一种将例如手机、平板、电脑等可以投屏的设备(以下简称投屏设备)上的音视频传输到另一个电脑或电视等播放设备进行播放的应用。

现有的投屏包括两种方式，其一是只传输投屏设备自身的声音、图像等，其二是还包括传输投屏设备采集到的声音(例如使用手机实现卡拉OK的功能)。由于投屏时，投屏设备与播放设备的距离通常较近，在第二种投屏的实现方式中，投屏设备采集到的声音传输到播放设备，播放设备通常会放大声音并播放，播放设备将声音播放后，会再次被投屏设备采集到。而在现有技术中，终端设备的回声消除功能往往只能针对于设备自身的声音，对于上述投屏场景下的回声难以处理，容易形成啸叫。

发明内容

本发明要解决的技术问题在于现有的投屏设备无法很好的处理投屏时产生的回声，容易形成啸叫，针对该技术问题，提供一种投屏信号处理方法、终端及计算机可读存储介质。

为解决上述技术问题，本发明提供一种投屏信号处理方法，所述投屏信号处理方法应用于投屏设备，所述投屏设备将采集到的第一声音信号传输至播放设备，所述播放设备根据所述第一声音信号播放第二声音信号；

所述投屏信号处理方法包括：

获取所述投屏设备与所述播放设备之间的距离；

根据所述距离获取所述第一声音信号与所述第二声音信号被所述投屏设备采集的时间差作为估计延迟时间；

在所述投屏设备采集到所述第一声音信号的估计延迟时间后，根据所述第一声音信号对所述投屏设备当前采集的声音信号进行回声消除。

可选的，所述投屏设备与所述播放设备之间建立有无线连接，所述获取与所述播放设备之间的距离包括：

获取接收所述播放设备的无线信号的信号接收强度；

根据所述信号接收强度获取与所述播放设备之间的距离。

可选的，所述无线连接包括WIFI连接、蓝牙连接中的任一个。

可选的，所述根据所述距离获取所述第一声音信号与所述第二声音信号被所述投屏设备采集的时间差作为估计延迟时间包括以下任一种：

获取所述第二声音信号以声波形式传输所述距离所需的时间与所述第一声音信号以通讯信号形式传输所述距离所需的时间的时间和，所述时间和作为所述估计延迟时间；

获取所述第二声音信号以声波形式传输所述距离所需的时间作为所述估计延迟时间。

可选的，所述根据所述第一声音信号对所述投屏设备当前采集的声音信号进行回声消除包括：

将第三声音信号与所述投屏设备当前采集的声音信号相叠加，所述第三声音信号与所述第一声音信号反向。

可选的，所述根据所述第一声音信号对所述投屏设备当前采集的声音信号进行回声消除还包括：

获取所述播放设备根据所述第一声音信号播放第二声音信号时的放大系数；

根据所述放大系数调整所述第三声音信号或调整所述当前采集的声音信号，使所述第三声音信号与所述当前采集的声音信号的强度趋于匹配。

可选的，所述根据所述放大系数调整所述第三声音信号包括：根据所述放大系数调整所述第三声音信号的幅度；所述第三声音信号的幅度大小与所述放大系数的大小为正相关。

可选的，所述根据所述放大系数调整所述当前采集的声音信号包括：根据所述放大系数调整所述投屏设备采集声音的增益系数；所述增益系数的大小与所述放大系数的大小为负相关。

进一步地，本发明还提供了一种终端，所述终端包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如上所述的投屏信号处理方法的步骤。

进一步地，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的投屏信号处理方法的步骤。

有益效果

本发明提供一种投屏信号处理方法、终端及计算机可读存储介质，针对现有投屏设备在投屏时不能很好的处理回声的缺陷，通过获取投屏设备与播放设备之间的距离，根据该距离获取第一声音信号与第二声音信号被投屏设备采集到的时间差作为估计延迟时间，在采集到第一声音信号并经过估计延迟时间后，根据第一声音信号对投屏设备当前采集的声音信号进行回声消除，解决了现有投屏设备在投屏时不能很好的处理回声的缺陷，实现了准确的回声消除，抑制了啸叫，提升用户体验的效果。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为实现本发明各个实施例一个可选的移动终端的硬件结构示意图。

图2为如图1所示的移动终端的无线通信系统示意图；

图3为本发明第一实施例提供的投屏信号处理方法基本流程图；

图4为本发明第一实施例提供的投屏设备采集到的声音信号中第二声音信号的示意图；

图5为本发明第一实施例提供的直接根据第一声音信号反向而形成的第三声音信号的示意图；

图6为本发明第一实施例提供的幅度增大后的第三声音信号的示意图；

图7为本发明第二实施例提供的投屏信号处理方法的细化流程图；

图8为本发明第二实施例提供的第一声音信号的示意图；

图9为本发明第二实施例提供的第二声音信号的示意图；

图10为本发明第二实施例提供的第三声音信号的示意图；

图11为本发明第三实施例提供的投屏信号处理方法的另一种细化流程图；

图12为本发明第四实施例提供的终端的结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的投屏设备可以以各种形式来实施。例如，本发明中描述的投屏设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal DigitalAssistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如台式计算机等固定终端。

本发明的播放设备同样可以以各种形式实施。例如，本发明中描述的播放设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal DigitalAssistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如电视机、台式计算机等固定终端。可以理解的是，投屏设备与播放设备是两个单独的设备。

在实际应用中，投屏设备为手机等移动终端，播放设备为电视机的应用场景较为广泛。因此后续描述中可以以投屏设备为移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本发明各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF(Radio Frequency，射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000，码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution，频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution，分时双工长期演进)等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本发明实施例，下面对本发明的移动终端所基于的通信网络系统进行描述。

请参阅图2，图2为本发明实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE(User Equipment，用户设备)201，E-UTRAN(Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网)202，EPC(Evolved Packet Core，演进式分组核心网)203和运营商的IP业务204。

具体地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。其中，eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME(Mobility Management Entity，移动性管理实体)2031，HSS(Home Subscriber Server，归属用户服务器)2032，其它MME2033，SGW(Serving Gate Way，服务网关)2034，PGW(PDN Gate Way，分组数据网络网关)2035和PCRF(Policy andCharging Rules Function，政策和资费功能实体)2036等。其中，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem，IP多媒体子系统)或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本发明不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统等，此处不做限定。

基于上述移动终端硬件结构以及通信网络系统，提出本发明方法各个实施例。

第一实施例

图3为本实施例提供的投屏信号处理方法基本流程图，该投屏信号处理方法应用于投屏设备，该投屏设备将采集到的第一声音信号传输至播放设备，播放设备根据第一声音信号播放第二声音信号。第一声音信号可以是对采集到的所有声音信号进行噪声、回声去除或其他形式的处理后的声音信号。

应当说明的是，投屏设备可以通过其自带的例如麦克风等声音采集装置采集第一声音信号，也可以是通过外接的声音采集装置采集第一声音信号，例如在手机上接入带有麦克风的耳机等方式。

还应当说明的是，投屏设备与播放设备之间可以有线连接，通过传输线以例如光、电等通信信号的形式将第一声音信号传输至播放设备，也可以通过无线连接，通过无线信号进行第一声音信号的传输。但可以理解的是，投屏设备采集到的第二声音信号是播放设备播放后以声波形式被投屏设备采集到，而并非是通过光、电等有线或无线的通信信号形式被投屏设备采集到的。播放设备根据第一声音信号播放第二声音信号具体可包括：将第一声音信号进行滤除噪声等处理后形成为第二声音信号进行播放，当然，也可以不进行处理，直接将第一声音信号作为第二声音信号进行播放，播放的音量可由用户设定。

现有技术中，手机等终端中可以实现回声消除功能，然而常用的回声消除方式主要针对例如通话等场景的回声消除，即对于终端自身发出的声音进行消除。而在本实施例的上述投屏过程中，回声来自播放设备的播放，并且声音经过了实际空间的传输，难以被现有的回声消除方式很好的处理，很容易形成啸叫，影响用户体验。

参见图3，本实施例的投屏信号处理包括：

S301、获取投屏设备与播放设备之间的距离；

投屏设备与播放设备之间的距离可以通过多种方式进行获取。例如可以直接由用户进行设定，用户可以根据实际情况估计二者的距离，并将该距离输入投屏设备。

而在一些实施方式中，可以由投屏设备主动测算与播放设备之间的距离。例如在一些示例中，投屏设备与播放设备之间建立有直接的无线连接，则获取投屏设备与播放设备之间距离的方式包括：

获取接收播放设备的无线信号的信号接收强度；

根据信号接收强度获取与播放设备之间的距离。

在实际应用中，无线连接的信号接收强度与连接无线连接的两个设备之间的距离是相关的，并且距离越近则信号接收强度越高，距离越远则信号接收强度越低。投屏设备可根据无线信号的信号接收强度获取到与播放设备之间的距离。应当理解的是，投屏设备与播放设备之间的无线连接应当是直接连接的，这里的直接连接是指没有经过其他放大或转发设备的中转，直接连接的投屏设备与播放设备之间的无线信号的信号接收强度能够反映出二者之间的实际距离。

可选的，根据信号接收强度获取与播放设备之间的距离包括：

获取信号接收强度以及无线信号的信号种类，按照信号种类对应的规则获取距离。

可以理解的是，无线信号的种类不同，则接收信号强度与建立有无线连接的设备之间的关联性不同，或者说信号的衰减情况不同，因此对于不同的无线信号的信号种类，采取相应的距离的测算规则，能够获取更准确的距离。

可选的，无线连接包括但不限于WIFI连接、蓝牙连接中的任一个。相应的，WIFI连接时的信号种类即是WIFI信号，蓝牙连接的信号种类即是蓝牙信号。实际应用中，还可以采用其他的信号强度与设备距离相关的无线连接测得距离。

S302、根据距离获取第一声音信号与第二声音信号被投屏设备采集的时间差作为估计延迟时间；

第一声音信号被采集后向播放设备传输，第一声音信号在投屏设备与播放设备之间通过通讯信号的方式进行传输，经过一定时间到达播放设备。播放设备根据第一声音信号播放出第二声音信号，第二声音信号以声波的形式在空间中传播，并在一定时间后到达投屏设备，被投屏设备采集到。

应当说明的是，本实施例中所指的通讯信号是指以光、电信号作为传输形式的信号，该通讯信号可以是有线传输的，例如数据线；也可以是无线传输的，例如电磁波。可以理解的是，本实施例中的通讯信号传输速度是3*10⁸m/s，声音在空气中的传播速度也是已知的，例如声音在空气中的传播速度是340m/s(空气温度为15°时)。因此，根据无线信号以及声音的速度以及投屏设备与播放设备之间的距离，就能够计算得到第二声音信号从播放设备传输到投屏设备的估计延迟时间。

可选的，步骤S302具体可包括以下任一种：

一、获取第二声音信号以声波形式传输距离所需的时间与第一声音信号以通讯信号形式传输距离所需的时间的时间和，时间和作为估计延迟时间。

在该方式中，第一声音信号和第二声音信号传输的距离都是相同的，即都是步骤S301中获取的投屏设备与播放设备之间的距离。投屏设备在将第一声音信号传输到播放设备时，传输所需的时间即是上述距离除以通讯信号的传输速度；第二声波信号播放后到达投屏设备所需的时间即是上述距离除以声音的传播速度。可以理解的是，该方式所计算的估计延迟时间更接近理论上的传输时间。

二、获取第二声音信号以声波形式传输距离所需的时间作为估计延迟时间。

由于投屏设备与播放设备之间的距离通常较短，且通讯信号的传播速度等于光速，这期间的传输时延极短，对于最终结果的影响几乎可以忽略，因此在该示例中不计算第一声音信号的传输时延，以节省资源并提升计算速度。

在具体实施过程中，还可以根据投屏设备以及播放设备的信号处理速度，对估计延迟时间作进一步的校正。

可选的，声音的传播速度受外界环境的不同存在较明显的改变，为了更准确的测算估计延迟时间，获取当前的温度，根据空气温度的情况调整声音的传播速度的值。例如可以通过温度传感器等方式获取当前的温度，还可以获取定位位置结合该定位位置的天气预报的信息判断出大致的温度范围。可以设置为一个温度范围对应于一个声音的传播速度，或设置温度与声音的传播速度的函数关系。

S303、在投屏设备采集到第一声音信号的估计延迟时间后，根据第一声音信号对投屏设备当前采集的声音信号进行回声消除。

可以理解的是，第二声音信号即是第一声音信号经过播放设备播放出的声音信号。而根据上述的说明，理想状态下，第二声音信号会在投屏设备采集到第一声音信号的估计延迟时间后到达投屏设备，因此，根据第一声音信号对投屏设备此时采集的声音进行回声消除，能够有效的消除掉投屏设备采集到的第二声音信号。

可选的，根据第一声音信号对投屏设备当前采集的声音信号进行回声消除包括：

将第三声音信号与投屏设备当前采集的声音信号相叠加，第三声音信号与第一声音信号反向。

应当理解的是，上述的将第三声音信号与投屏设备当前采集的声音信号相抵消具体包括投屏设备在对当前采集的声音信号进行处理的过程将第三声音信号与投屏设备当前采集的声音信号相叠加。由于第三声音信号是与第一声音信号反向的，而第二声音信号是根据第一声音信号播放的，当第三声音信号与投屏设备当前采集的声音信号相叠加后，第三声音信号会与当前采集的声音信号中的第二声音信号部分相互抵消，达到回声消除的效果。

可选的，根据第一声音信号对投屏设备当前采集的声音信号进行回声消除还包括：

获取播放设备根据第一声音信号播放第二声音信号时的放大系数；

根据放大系数调整第三声音信号或调整当前采集的声音信号，使第三声音信号与当前采集的声音信号的强度匹配。

投屏设备与播放设备之间已经存在有线或无线的连接，在一种具体实施方式中可以通过该连接获取到播放设备根据第一声音信号播放第二声音信号时的放大系数。例如通过WIFI连接向播放设备发送获取上述放大系数的请求，播放设备根据该请求返回相应的放大系数，或是接收播放设备主动发送的放大系数。还可以接收用户输入的放大系数。该放大系数表示播放设备在接收到第一声音信号后对其进行的放大的处理的程度，作为一种具体的体现形式，放大系数可以包括用户对电视机播放的音量的设置。

当播放设备将第一声音信号放大后形成第二声音信号进行播放，投屏设备接收到的第二声音信号的能量可能比原本的第一声音信号更大，此时仅根据第一声音信号原本的强度形成的第三声音信号难以完全消除回声。根据上述放大系数对声音信号进行调整，使第三声音信号与当前采集的声音信号的强度匹配，能够达到更好的回声消除效果。应当说明的是，这里所指的强度趋于匹配是指使得第三声音信号，能够与当前采集的声音信号中的第二声音信号更好的进行抵消。这里的当前采集的声音信号，为投屏设备实际采集到的声音信号，声音信号以及其中第二声音信号部分的强度也是实际采集到投屏设备中的强度，而并非在环境中的强度。

可选的，根据放大系数调整第三声音信号包括：根据放大系数调整第三声音信号的幅度；第三声音信号的幅度大小与放大系数的大小为正相关。也即是当放大系数更大时，增大第三声音信号的幅度，从而使得第三声音信号能够更好的抵消掉采集到的声音信号中第二声音信号的部分。为了更直观的进行说明，请参见图4、图5、图6，图4示意出采集到的声音信号中第二声音信号1的部分，图5示意出直接根据第一声音信号反向而形成的第三声音信号2，图6示意出根据放大系数将第三声音信号2的幅度进行增大。当图5所示的第三声音信号2和图4中的第二声音信号1进行抵消，由于第二声音信号1经过了放大的处理，因此仅消除了部分回声，没有完全消除；当图6所示的第三声音信号2和图4中的第二声音信号1进行抵消，第二声音信号1可被更多的抵消(本示例中图6示出的第三声音信号可完全与第二声音信号抵消)。在实际应用中，进行调整过程中的相关参数，可以通过技术人员的测试、试验得到合适的参数并预先设定。

可选的，根据放大系数调整当前采集的声音信号包括：根据放大系数调整投屏设备采集声音的增益系数；增益系数的大小与放大系数的大小为负相关。在该示例中，若放大系数较大，则通过减小投屏设备采集声音时的增益。在播放设备的放大系数较大时，通过减小采集声音的增益系数，在一些实施过程中同样能够达到使当前采集的声音信号中的第二声音信号部分被更多的抵消的效果。

在实际应用中，由于第一声音信号需要经过一定距离的传播到达播放设备，第二声音信号需要经过一定距离的传播到达投屏设备被采集到，因此第一声音信号与第二声音信号会先后到达投屏设备，这样的时延导致传统的回声消除难以达到理想的效果。在本实施例中所计算出的估计延迟时间即是第二声音信号在空气中传播的时间，因此，根据第一声音信号以及该估计延迟时间能够准确的对第二声音信号进行回声消除，可见本实施例的投屏信号处理方法在一些实施过程中解决了投屏系统中由于声音存在实际的传输时延难以通过传统的方式进行回声消除的问题，实现了对于投屏系统中的回声的有效抑制，抑制啸叫的产生，提升用户体验。

第二实施例

为更好的说明本发明的投屏信号处理方法，本实施例结合具体的处理过程做进一步说明。本实施例中，投屏设备为移动终端，具体可为手机，播放设备为电视机，手机与电视机之间通过WIFI连接实现无线投屏，可以理解的是，使用有线的方式实现投屏的情况下，本实施例的投屏信号处理方法同样适用。手机包括麦克风，麦克风可以采集外界的声音，在本实施例示意的投屏过程中，手机将麦克风采集到第一声音信号通过WIFI传输至电视机，电视机根据接受的第一声音信号通过喇叭播放第二声音信号。可以理解的是，实际的投屏过程中，手机还可以传输例如视频、图像等数据至电视机，本实施例省略对于其他数据的处理过程。

请参见图7，为本发明第二实施例提供的投屏信号处理方法的细化流程图，该投屏处理方法应用于手机，该投屏信号处理方法包括：

S701、与电视机建立蓝牙连接；

本实施例的手机和电视机还包括蓝牙模块，手机可以和电视机建立起蓝牙连接。

S702、获取与电视机的蓝牙信号接收强度；

当手机对周围的蓝牙设备进行扫描，或与电视机之间的蓝牙信号处于正常的连接状态时，可以直接获取到当前扫描到或连接的蓝牙设备的蓝牙信号的RSSI(ReceivedSignal Strength Indication，接收的信号强度指示，简称信号接收强度)值。在进行扫描时可以根据电视机作为蓝牙设备时的名称，找到电视机并获取接收电视机的蓝牙信号时的强度，即是蓝牙信号接收强度；与电视机建立有蓝牙连接时，基于连接找到电视机，并获取蓝牙信号接收强度。

S703、根据蓝牙信号接收强度获取与电视机的距离；

作为具体的示例，可通过如下公式1计算手机与电视机的距离；

公式1：S＝10^((abs(RSSI)-A)/(10*n))；

其中，S为计算得到的距离(单位：米)；RSSI为上述步骤S702获取的蓝牙信号接收强度(单位：dBm)(为负值)；A为发射端和接收端相隔1米时的信号强度(单位：dBm)；n为环境衰减因子；abs表示绝对值。

由于环境不同，上述公式1中的A和n的值可能存在差异，各项参数可根据实际的实验获得。实际应用中，若没有测得A和n的值，可以为先将其设置为经验值，例如在一具体示例中，设置A为59，n为2.0。

S704、根据与电视机的距离获取估计延迟时间；

本实施例中，通过上述电视机的距离除以第二声音信号以声波传输的速度，得到估计延迟时间。由于手机与电视投屏的距离通常较短，本实施例中忽略第一声音信号通过WIFI信号传输至播放设备的时间。

作为一具体的示例，本示例假设手机与电视机的距离为5米，则第二声音信号从电视机播放后以声波形式传输到手机被麦克风采集到的时间为1.47*10^-2s(本示例中假设声音传输为340m/s)，因此，估计延迟时间1.47*10^-2s。

在一些具体实施过程中，还可以根据手机、电视机对于声音信号的处理、响应速度，对估计延迟时间进行补偿、校正。

S705、生成第三声音信号；

应当说明的是，该第三声音信号与第一声音信号反向，本步骤可以是在采集到第一声音信号至采集到第二声音信号期间的任何时刻。只要在第二声音信号被采集之前，完成第三声音信号的生成，就可以利用该第三声音信号对第二声音信号进行回声消除。

S706、在采集到第一声音信号的估计延迟时间后，将第三声音信号与手机当前采集的声音信号进行叠加。

请参见图8，为手机发送给电视机的第一声音信号3的示意图。请参见图9，为手机采集到的电视机根据第一声音信号3播放的第二声音信号1的示意图。请参见图10，为手机根据第一声音信号3生成的第三声音信号2的示意图。根据上述图8、图9、图10，可见，理想状态下，在采集到第一声音信号3的估计延迟时间(1.47*10^-2s)后，手机会采集到第二声音信号1，此时，将第三声音信号2与手机当前采集的声音信号进行叠加，能够较好的消除第二声音信号1。可以理解的是，实际应用中，手机采集的声音信号除了第二声音信号1还可以包括其他声音信号，但第三声音信号2与第二声音信号1对齐，主要影响其中第二声音信号1的部分。

本实施例通过与电视机建立蓝牙连接，利用蓝牙信号的信号接收强度进行测距，能够得到比较准确的手机与电视机之间的距离，根据该距离计算出第二声音信号到达手机麦克风的延迟时间，在延迟时间到达时利用与第一声音信号反向的第三声音信号进行回声消除，能够实现准确的回声消除，解决了在投屏场景中由于声音存在实际的传输时延难以通过传统的方式进行回声消除的问题，实现了对于投屏系统中的回声的有效抑制，抑制啸叫的产生，提升用户体验。

第三实施例

本实施例结合另一种具体的处理过程做进一步说明。本实施例中，投屏设备为手机，播放设备为电视机，手机与电视机之间通过WIFI连接实现无线投屏。手机和电视机实现无线投屏的过程与上述第二实施例一致，本实施例不赘述。

请参见图11，为本发明第三实施例提供的投屏信号处理方法的细化流程图，该投屏处理方法应用于手机，该投屏处理方法包括：

S1101、获取与电视机的WIFI信号接收强度；

类似的，手机可以获取周围的WIFI设备或与手机连接的WIFI设备的RSSI值。可以根据WIFI的SSID(Service Set Identifier，服务集标识符)找到电视机并获取与电视机的WIFI信号接收强度；与电视机建立有WIFI连接时，基于连接找到电视机并获取WIFI信号接收强度。

S1102、根据WIFI信号接收强度获取与电视机的距离；

通过WIFI信号的RSSI进行测距可以使用任意现有方式。

S1103、根据与电视机的距离获取估计延迟时间；

S1104、获取电视机的音量；

可以通过WIFI连接，接收电视机传回的音量，或接收用户输入的电视机音量。可以理解的是，本实施例中，该音量代表了电视机对于第一声音信号进行放大的放大系数。

S1105、根据电视机的音量，调整手机麦克风的增益；

若电视机的音量较大，则降低手机麦克风的增益，越大的音量则更大程度的降低手机麦克风的增益，二者为负相关。本示例中，当电视机的音量大于预设阈值时，降低手机麦克风的增益。应当注意的是，对于手机麦克风的增益的调整，应当使得第三声音信号能够尽可能与第二声音信号相互抵消，也就是使二者的强度趋于一致。过度的调整可能会适得其反，具体在怎样的音量下调整手机麦克风的增益为多少可以由技术人员预先测试，得出一个通用的对应关系并预设在手机中。实际应用中，不同电视机在同一音量值时，实际音量也可能不同，手机麦克风的增益也可根据实际情况进行校正。

S1106、生成第三声音信号；

S1107、在采集到第一声音信号的估计延迟时间后，将第三声音信号与手机当前采集的声音信号进行叠加。

由于手机麦克风的增益被调整，当电视机音量较大时，手机当前采集的声音信号的强度被减弱，第三声音信号能够更多的抵消掉其中的第二声音信号的部分。

在不冲突的情况下，上述步骤的实施顺序可以进行调整。

在本实施例的另一种示例中，上述步骤S1105还可以是：根据电视机的音量，调整第三声音信号的幅度。通过加大用于抵消第二声音信号的第三声音信号的强度，同样可以使得当电视机音量较大时，手机当前采集的声音信号中的第二声音信号能够更多的被抵消。

本实施例直接利用手机和电视机实现无线投屏时的WIFI连接测量与电视机的距离，更为节省资源，并且能够根据第一声音信号被放大的情况，对第三声音信号或者手机采集的声音信号进行调整，使第三声音信号与手机采集的声音信号的强度趋于匹配，以使得回声消除的效果更佳。

第四实施例

本实施例还提供了一种终端，参见图12所示，其包括处理器121、存储器122及通信总线123，其中：

通信总线123用于实现处理器121和存储器122之间的连接通信；

处理器121用于执行存储器122中存储的计算机程序，以实现上述实施例一、实施例二和实施例三中的投屏信号处理方法的各步骤。

本实施例中，还提供一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例一、实施例二和实施例三中的投屏信号处理方法的步骤

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种投屏信号处理方法，应用于投屏设备，其特征在于，所述投屏设备将采集到的第一声音信号传输至播放设备，所述播放设备根据所述第一声音信号播放第二声音信号；

所述投屏信号处理方法包括：

获取所述投屏设备与所述播放设备之间的距离；

2.如权利要求1所述的投屏信号处理方法，其特征在于，所述投屏设备与所述播放设备之间建立有无线连接，所述获取与所述播放设备之间的距离包括：

获取接收所述播放设备的无线信号的信号接收强度；

根据所述信号接收强度获取与所述播放设备之间的距离。

3.如权利要求2所述的投屏信号处理方法，其特征在于，所述无线连接包括WIFI连接、蓝牙连接中的任一个。

4.如权利要求1所述的投屏信号处理方法，其特征在于，所述根据所述距离获取所述第一声音信号与所述第二声音信号被所述投屏设备采集的时间差作为估计延迟时间包括以下任一种：

5.如权利要求1所述的投屏信号处理方法，其特征在于，所述根据所述第一声音信号对所述投屏设备当前采集的声音信号进行回声消除包括：

6.如权利要求5所述的投屏信号处理方法，其特征在于，所述根据所述第一声音信号对所述投屏设备当前采集的声音信号进行回声消除还包括：

7.如权利要求6所述的投屏信号处理方法，其特征在于，所述根据所述放大系数调整所述第三声音信号包括：根据所述放大系数调整所述第三声音信号的幅度；所述第三声音信号的幅度大小与所述放大系数的大小为正相关。

8.如权利要求6所述的投屏信号处理方法，其特征在于，所述根据所述放大系数调整所述当前采集的声音信号包括：根据所述放大系数调整所述投屏设备采集声音的增益系数；所述增益系数的大小与所述放大系数的大小为负相关。

9.一种终端，其特征在于，所述终端包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1至8中任一项所述的投屏信号处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至8中任一项所述的投屏信号处理方法的步骤。