CN103220576B - 一种音频信号处理的方法及电子设备 - Google Patents
一种音频信号处理的方法及电子设备 Download PDFInfo
- Publication number
- CN103220576B CN103220576B CN201210018216.1A CN201210018216A CN103220576B CN 103220576 B CN103220576 B CN 103220576B CN 201210018216 A CN201210018216 A CN 201210018216A CN 103220576 B CN103220576 B CN 103220576B
- Authority
- CN
- China
- Prior art keywords
- voice data
- road
- application
- data
- audio frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种音频信号处理的方法及电子设备，应用于能接收至少两路音频数据的电子设备中，其中，所述至少两路音频数据包括第一路音频数据和第二路音频数据，所述电子设备包括有声音输出单元，所述方法包括：采集所述第一路音频数据和所述第二路音频数据；根据一音频播放策略，通过所述声音输出单元播放所述第一路音频数据和/或所述第二路音频数据；根据一音频文字转换策略，识别所述第一音频数据和/或所述第二路音频数据，以将所述第一音频数据和/或所述第二路音频数据转换成文字信号。
Description
技术领域
本发明涉及信号处理领域，尤其涉及一种音频信号处理的方法及电子设备。
背景技术
目前的智能电视功能越来越多，不仅有高清媒体播放，网络浏览等功能，也可以引入大量原先在PC(Personal Computer，个人计算机)上才可以使用的功能，比如多人视频聊天等。在使用这些互联网应用时，和PC上不同的一点是，用户经常在观看电视的节目的同时，通过基于画中画或者带透明度支持的多窗口显示功能，实现在观看电视节目的同时进行网络视频会议或者网络聊天。
发明人在发明过程中，发现现有技术中虽然可以解决多个画面或者视频的同时浏览或者播出，但是在解决多个节目的声音处理上存在很多问题。
现有技术中针对多个画面的声音处理目前主要有以下2种解决方案，具体的解决方案和存在的问题如下：
第一种，允许2个音轨同时输出，将两个多媒体应用(比如电视与聊天)的声音做混音后同时输出；这种解决方案的缺点是容易使用户混淆声音，造成每个节目源的收听效果都不好。
第二种，只将两个多媒体应用画面中的一路声音输出，这种解决方案的缺点是使用户无法收听另一路画面的声音信息，只能看到相关的图像信息，丢失语音信息。
发明内容
本申请实施例提供了一种音频信号处理的方法及电子设备，解决了现有技术中在针对多个画面的声音处理上节目源的收听效果不好或者丢失语音信息的问题。
本申请实施例一提供了一种音频信号处理的方法，应用于能接收至少两路音频数据的电子设备中，其中，所述至少两路音频数据包括第一路音频数据和第二路音频数据，所述电子设备包括有声音输出单元，所述方法包括：
采集所述第一路音频数据和所述第二路音频数据；
根据一音频播放策略，通过所述声音输出单元播放所述第一路音频数据和/或所述第二路音频数据；
根据一音频文字转换策略，识别所述第一音频数据和/或所述第二路音频数据，以将所述第一音频数据和/或所述第二路音频数据转换成文字信号。
其中，所述音频文字转换策略具体为：
当所述第一路音频数据对应的第一应用作为主应用时，将所述第二路音频数据转换成文字信号；或者
当所述第二路音频数据对应的第二应用作为主应用时，将所述第一路音频数据转换成文字信号。
第一种情况：
当所述声音输出单元播放所述第一路音频数据和所述第二路音频数据时，及当所述第一路音频数据对应的第一应用为主应用时，识别所述第二路音频数据，将所述第二路音频数据转换成文字信号显示在显示画面上；或者
将所述第二路音频数据转换成文字信号显示在显示画面上且停止播放所述第二路音频数据。
第二种情况：
当所述声音输出单元播放所述第一路音频数据和所述第二路音频数据时，及当所述第二路音频数据对应的第二应用为主应用时，识别所述第一路音频数据，将所述第一路音频数据转换成文字信号显示在显示画面上；或者
将所述第一路音频数据转换成文字信号显示在显示画面上且停止播放所述第一路音频数据。
第三种情况：
当所述声音输出单元播放所述第一路音频数据，及当所述第二路音频数据对应的第二应用为主应用时，播放所述第二路音频数据，且识别所述第一路音频数据，将所述第一路音频数据转换成文字信号显示在显示画面上并停止播放所述第一路音频数据。
第四种情况：
当所述声音输出单元播放所述第二路音频数据，及当所述第一路音频数据对应的第一应用为主应用时，播放所述第一路音频数据，且识别所述第二路音频数据，将所述第二路音频数据转换成文字信号显示在显示画面上并停止播放所述第二路音频数据。
第五种情况：
当所述第一路音频数据对应的第一应用作为主应用时，所述第一应用没有音频数据播放时，允许播放所述第二路音频数据；或者
当所述第二路音频数据对应的第二应用作为主应用时，所述第二应用没有音频数据播放时，允许播放所述第一路音频数据。
本申请实施例二提供了一种电子设备，所述电子设备能接收至少两路音频数据，其中，所述至少两路音频数据包括第一路音频数据和第二路音频数据，所述电子设备包括有声音输出单元，所述电子设备还包括：
采集单元，用于采集所述第一路音频数据和所述第二路音频数据；
播放单元，用于根据一音频播放策略，通过所述声音输出单元播放所述第一路音频数据和/或所述第二路音频数据；
转换单元，用于根据一音频文字转换策略，识别所述第一音频数据和/或所述第二路音频数据，以将所述第一音频数据和/或所述第二路音频数据转换成文字信号。
本申请通过以上一个或者多个实施例提供的技术方案，具有以下有益效果或者优点之一：
1、根据用户选定的主副音轨的选择，采用音轨切换的方式，播放主音轨的声音文件；同时结合语音(或者声音)识别并实时转换成文字的方法，将副音轨上电视节目或者画面中的语音(或者声音)信号实时转换成为文字信息在画面上输出，实现用户在使用画中画或者多节目浏览时，可以收听其中任意一路声音，而另外一路节目的语音实时转化为文字信息在画面上插入或者滚动播出；
2、通过实时判断主音轨上是否处于无声状态，如果处于无声状态，在当前副音轨上有音频输出时可以插空播出副音轨的语音数据。
附图说明
图1为实施例1中音频信号处理的方法流程图；
图2为实施例1中主画面和次画面的图；
图3为实施例1中将网络视频会议设置为主音轨时的情景图；
图4为实施例1中将电视节目设置为主音轨时的情景图；
图5为实施例2中电子设备的结构图。
具体实施方式
本申请实施例提供了一种音频信号处理的方法及电子设备，解决了现有技术中在针对多个画面的声音处理上节目源的收听效果不好或者丢失语音信息的问题。
为了更好的理解上述技术方案，下面将结合附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例1
如图1所示，本申请实施例一提供了一种音频信号处理的方法，应用于能接收至少两路音频数据的电子设备中，其中，所述至少两路音频数据包括第一路音频数据和第二路音频数据，该电子设备包括有声音输出单元，所述方法包括：
步骤101，采集所述第一路音频数据和所述第二路音频数据；
步骤102，根据一音频播放策略，通过所述声音输出单元播放所述第一路音频数据和/或所述第二路音频数据；
步骤103，根据一音频文字转换策略，识别所述第一音频数据和/或所述第二路音频数据，以将所述第一音频数据和/或所述第二路音频数据转换成文字信号。
其中，所述音频文字转换策略具体为：
当所述第一路音频数据对应的第一应用作为主应用时，将所述第二路音频数据转换成文字信号；或者
当所述第二路音频数据对应的第二应用作为主应用时，将所述第一路音频数据转换成文字信号。
假设用户在家中使用智能电视同时观看电视节目和网络聊天，电视节目频道对应的音频数据为第一路音频数据，网络聊天对应的音频数据为第二路音频数据，电视节目为第一应用，网络聊天为第二应用。
采用本申请实施例一提供的技术方案，会有以下5种情况。
第一种情况：
当所述声音输出单元同时播放第一路音频数据(电视节目频道对应的音频数据)和第二路音频数据(网络聊天对应的音频数据)时，及当电视节目频道为主应用或者主声道时，该主应用或者主声道可以为智能电视系统预先设定，也可以为用户当前设定，通过语音或声音识别出第二路音频数据，将所述第二路音频数据转换成文字信号在显示画面上滚动显示；
或者为了达到更好的效果，将此时的同时播放第一路音频数据和第二路音频数据只播放第一路音频数据，即只播放主应用或者主声道的音频数据，将第二路音频数据转换成文字信号显示在显示画面上且停止播放所述第二路音频数据。
第二种情况：
原理同第一种情况，当所述声音输出单元播放所述第一路音频数据(电视节目频道对应的音频数据)和第二路音频数据(网络聊天对应的音频数据)时，及当将网络聊天设置为主应用时，通过语音或声音识别技术识别出第一路音频数据，将第一路音频数据转换成文字信号显示在显示画面上；或者为了达到更好的效果，将所述第一路音频数据转换成文字信号显示在显示画面上且停止播放所述第一路音频数据。
第三种情况：
当所述声音输出单元播放所述第一路音频数据(电视节目频道对应的音频数据)，及当将网络聊天设置为主应用时，播放第二路音频数据(网络聊天对应的音频数据)，且通过语音或声音识别技术识别出第一路音频数据，将第一路音频数据转换成文字信号显示在显示画面上并停止播放所述第一路音频数据。
第四种情况：
原理同第三种情况，当所述声音输出单元播放所述第二路音频数据(网络聊天对应的音频数据)，及当将电视节目设置为主应用时，播放第一路音频数据(电视节目频道对应的音频数据)，且通过语音或声音识别技术识别出第二路音频数据，将第二路音频数据转换成文字信号显示在显示画面上并停止播放所述第二路音频数据。
第五种情况：
当将电视节目作为主应用时，所述电视节目频道没有音频数据输出时，在采集到网络聊天有音频数据时，可以插空播放出网络聊天的音频数据；
或者当将网络聊天作为作为主应用时，所述网络聊天没有音频数据输出时，即网络聊天应用处于无声状态时，可以插空播放电视节目频道的音频数据。
下面举一个用户在家中使用智能电视在观看球赛的同时参加一个网络视频会议的例子对上述技术方案进行详细的阐述。
1、如图2所示，用户开启画中画功能，主画面播放球赛，次画面为网络视频会议。
2、如图3所示，选择网络视频会议对应的音轨为主音轨，则将电视节目中球赛节目的主持人解说的声音通过语音(或者声音)识别并实时转换成文字的方法转化为文字信息在画面上滚动播出。
3、如图4所示，选择电视节目对应的音轨为主音轨，此时将声音切换为球赛主持人的解说音通过声音输出单元播放，而将视频会议画面中每个人说话的声音通过语音(或者声音)识别并实时转换成文字的方法转化为文字信息在画面上滚动播出。
4、为了给用户提供更大的便利，可以实时判断主音轨上是否处于无声状态，如果是的话，在当前副音轨上有音频输出时也可以插空播出。
实施例2
如图5所示，本申请实施例二提供了一种电子设备，所述电子设备能接收至少两路音频数据，其中，所述至少两路音频数据包括第一路音频数据和第二路音频数据，所述电子设备包括有声音输出单元，所述电子设备还包括：
采集单元201，用于采集所述第一路音频数据和所述第二路音频数据；
播放单元202，用于根据一音频播放策略，通过所述声音输出单元播放所述第一路音频数据和/或所述第二路音频数据；
转换单元203，用于根据一音频文字转换策略，识别所述第一音频数据和/或所述第二路音频数据，以将所述第一音频数据和/或所述第二路音频数据转换成文字信号。
本申请通过以上一个或者多个实施例提供的技术方案，具有以下有益效果或者优点之一：
1、根据用户选定的主副音轨的选择，采用音轨切换的方式，播放主音轨的声音文件；同时结合语音(或者声音)识别并实时转换成文字的方法，将副音轨上电视节目或者画面中的语音(或者声音)信号实时转换成为文字信息在画面上输出，实现用户在使用画中画或者多节目浏览时，可以收听其中任意一路声音，而另外一路节目的语音实时转化为文字信息在画面上插入或者滚动播出；
2、通过实时判断主音轨上是否处于无声状态，如果处于无声状态，在当前副音轨上有音频输出时可以插空播出副音轨的语音数据。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种音频信号处理的方法，应用于能接收至少两路音频数据的电子设备中，其中，所述至少两路音频数据包括第一路音频数据和第二路音频数据，所述电子设备包括有声音输出单元，其特征在于，所述方法包括：
采集所述第一路音频数据和所述第二路音频数据；
根据一音频播放策略，通过所述声音输出单元播放所述第一路音频数据和/或所述第二路音频数据；
根据一音频文字转换策略，识别所述第一路音频数据和/或所述第二路音频数据，以将所述第一路音频数据和/或所述第二路音频数据转换成文字信号，并将转换成的文字信号显示在显示画面上；
其中，所述音频文字转换策略具体为：
当所述第一路音频数据对应的第一应用作为主应用时，将所述第二路音频数据转换成文字信号；或者
当所述第二路音频数据对应的第二应用作为主应用时，将所述第一路音频数据转换成文字信号。
2.如权利要求1所述的方法，其特征在于：
当所述声音输出单元播放所述第一路音频数据和所述第二路音频数据时，及当所述第一路音频数据对应的第一应用为主应用时，识别所述第二路音频数据，将所述第二路音频数据转换成文字信号显示在显示画面上；或者
将所述第二路音频数据转换成文字信号显示在显示画面上且停止播放所述第二路音频数据。
3.如权利要求1所述的方法，其特征在于：
当所述声音输出单元播放所述第一路音频数据和所述第二路音频数据时，及当所述第二路音频数据对应的第二应用为主应用时，识别所述第一路音频数据，将所述第一路音频数据转换成文字信号显示在显示画面上；或者
将所述第一路音频数据转换成文字信号显示在显示画面上且停止播放所述第一路音频数据。
4.如权利要求1所述的方法，其特征在于：
当所述声音输出单元播放所述第一路音频数据，及当所述第二路音频数据对应的第二应用为主应用时，播放所述第二路音频数据，且识别所述第一路音频数据，将所述第一路音频数据转换成文字信号显示在显示画面上并停止播放所述第一路音频数据。
5.如权利要求1所述的方法，其特征在于：
当所述声音输出单元播放所述第二路音频数据，及当所述第一路音频数据对应的第一应用为主应用时，播放所述第一路音频数据，且识别所述第二路音频数据，将所述第二路音频数据转换成文字信号显示在显示画面上并停止播放所述第二路音频数据。
6.如权利要求1所述的方法，其特征在于：
当所述第一路音频数据对应的第一应用作为主应用时，所述第一应用没有音频数据播放时，允许播放所述第二路音频数据；或者
当所述第二路音频数据对应的第二应用作为主应用时，所述第二应用没有音频数据播放时，允许播放所述第一路音频数据。
7.一种电子设备，所述电子设备能接收至少两路音频数据，其中，所述至少两路音频数据包括第一路音频数据和第二路音频数据，所述电子设备包括有声音输出单元，其特征在于，所述电子设备还包括：
采集单元，用于采集所述第一路音频数据和所述第二路音频数据；
播放单元，用于根据一音频播放策略，通过所述声音输出单元播放所述第一路音频数据和/或所述第二路音频数据；
转换单元，用于根据一音频文字转换策略，识别所述第一路音频数据和/或所述第二路音频数据，以将所述第一路音频数据和/或所述第二路音频数据转换成文字信号，并将转换成的文字信号显示在显示画面上；
其中，所述音频文字转换策略具体为：
当所述第一路音频数据对应的第一应用作为主应用时，将所述第二路音频数据转换成文字信号；或者
当所述第二路音频数据对应的第二应用作为主应用时，将所述第一路音频数据转换成文字信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210018216.1A CN103220576B (zh) | 2012-01-19 | 2012-01-19 | 一种音频信号处理的方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210018216.1A CN103220576B (zh) | 2012-01-19 | 2012-01-19 | 一种音频信号处理的方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103220576A CN103220576A (zh) | 2013-07-24 |
| CN103220576B true CN103220576B (zh) | 2016-10-05 |
Family
ID=48817970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210018216.1A Active CN103220576B (zh) | 2012-01-19 | 2012-01-19 | 一种音频信号处理的方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103220576B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105498168A (zh) * | 2015-12-07 | 2016-04-20 | 永康市玛马吉智能科技有限公司 | 一种通过语音控制跑步机的方法和装置 |
| CN107578777B (zh) * | 2016-07-05 | 2021-08-03 | 阿里巴巴集团控股有限公司 | 文字信息显示方法、装置及系统、语音识别方法及装置 |
| CN107872568A (zh) * | 2017-09-27 | 2018-04-03 | 努比亚技术有限公司 | 一种通话管理方法、移动终端及计算机可读存储介质 |
| CN109151594A (zh) * | 2018-09-27 | 2019-01-04 | 广州虎牙信息科技有限公司 | 直播回放视频播放方法、装置以及电子设备 |
| CN113448530A (zh) * | 2020-03-26 | 2021-09-28 | 海信视像科技股份有限公司 | 显示设备和音量控制方法 |
| CN113271488B (zh) * | 2021-05-17 | 2023-07-21 | 口碑(上海)信息技术有限公司 | 播放控制方法、装置、电子设备、存储介质及程序产品 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005536104A (ja) * | 2002-08-12 | 2005-11-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ２つのオーディオ入力信号を処理する方法 |
| JP4849343B2 (ja) * | 2005-08-25 | 2012-01-11 | ソニー株式会社 | データ生成方法、記録装置および方法、並びに、プログラム |
| CN1968543A (zh) * | 2005-11-17 | 2007-05-23 | 深圳Tcl新技术有限公司 | 一种多通道音频播放装置及其控制方法 |
| CN101789871B (zh) * | 2009-01-23 | 2012-10-03 | 国际商业机器公司 | 支持多个同时在线会议的方法、服务器端及客户端设备 |
-
2012
- 2012-01-19 CN CN201210018216.1A patent/CN103220576B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103220576A (zh) | 2013-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103220576B (zh) | 一种音频信号处理的方法及电子设备 | |
| CN104038722B (zh) | 一种视频会议的内容交互方法及系统 | |
| Thornborrow | The discourse of public participation media: From talk show to Twitter | |
| CN106781770A (zh) | 一种常态化互动录播系统 | |
| CN204761591U (zh) | 一种教学用全自动高清互动录播系统 | |
| CN105530535A (zh) | 一种多人观看视频实时互动的方法及系统 | |
| CN102065265B (zh) | 实现混音的方法、装置和系统 | |
| CN109413002A (zh) | 一种课堂互动直播方法、系统及终端 | |
| CN111627271A (zh) | 一种同步课堂系统及其管理平台 | |
| WO2017101320A1 (zh) | 一种实现双人同时视频直播的方法及移动客户端 | |
| CN211578106U (zh) | 一种基于移动互联网的远程授课系统及平台 | |
| CN102984496B (zh) | 视频会议中的视音频信息的处理方法、装置及系统 | |
| CN112581814B (zh) | 一种互动直播课堂的实现方法 | |
| CN107731032A (zh) | 一种音视频切换方法、装置以及远程多点互动教学系统 | |
| CN205788813U (zh) | 一种交互式实训教学系统 | |
| CN106327929A (zh) | 一种用于信息化的可视化数据控制方法及系统 | |
| CN106454200A (zh) | 一种基于场景切换的视频交互方法和系统 | |
| CN203588489U (zh) | 一种情景教学设备 | |
| WO2018036065A1 (zh) | 智能交互平板 | |
| CN104135484B (zh) | 一种集成交互式白板与视频会议的嵌入式系统 | |
| CN207115790U (zh) | 一种英语辅助教学系统 | |
| CN104616654A (zh) | 多媒体一体机及其语音控制实现方法 | |
| CN106056997A (zh) | 一种计算机多媒体远程教育培训教学装置 | |
| CN201063761Y (zh) | 多功能视频会议系统 | |
| CN206259049U (zh) | 一种计算机远程教学系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |