CN109417582A - 警告用户音频流的改变 - Google Patents
警告用户音频流的改变 Download PDFInfo
- Publication number
- CN109417582A CN109417582A CN201780038169.8A CN201780038169A CN109417582A CN 109417582 A CN109417582 A CN 109417582A CN 201780038169 A CN201780038169 A CN 201780038169A CN 109417582 A CN109417582 A CN 109417582A
- Authority
- CN
- China
- Prior art keywords
- audio
- change
- audio stream
- user
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 139
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims description 7
- 230000036651 mood Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010183 spectrum analysis Methods 0.000 claims description 3
- 238000004880 explosion Methods 0.000 claims description 2
- 210000001008 atrial appendage Anatomy 0.000 claims 1
- 230000006870 function Effects 0.000 description 27
- 238000003860 storage Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 239000011469 building brick Substances 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000007510 mood change Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/42136—Administration or customisation of services
- H04M3/42153—Administration or customisation of services by subscriber
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/428—Arrangements for placing incoming calls on hold
- H04M3/4286—Notifying a held subscriber when his held call is removed from hold
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/25—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service
- H04M2203/255—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service comprising a personalized user interface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2203/00—Aspects of automatic or semi-automatic exchanges
- H04M2203/25—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service
- H04M2203/258—Service state indications
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Emergency Management (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Stereophonic System (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
公开了用于警告用户音频流的改变的方法和系统。在方面中,用户的用户设备接收音频流,根据用户可配置的规则来检测在音频流中出现的音频模式上的改变,其中,对音频模式上的改变的检测是在音频流被静音时出现的,并且响应于检测到音频模式上的改变,向用户提供指示音频模式上的改变已经出现的警报。
Description
技术领域
概括地说,本公开内容的方面涉及电信,并且更具体地,涉及警告用户音频流的改变等。
背景技术
无线通信系统被广泛部署以向用户提供各种类型的通信内容,例如,语音、数据、多媒体等。经常,当接收到音频流时,例如,在对服务中心的呼叫、电话会议、多播呼叫等期间,仅在某些时间需要接收音频流的用户的注意力,例如,当用户取消“保持”时、当用户的名字被呼叫时、在向用户呈现感兴趣的主题期间等。
例如,经常当用户呼叫服务中心时,用户必须等待挂起直到代表接听电话。作为另一示例,在电话会议期间,仅某个主题可能需要用户的注意力和/或输入。作为另一个示例,在多播呼叫期间,用户可能仅对收听一个发言者的演讲而不是每个发言者的演讲感兴趣。在这样的情况下,即使用户仅对音频流的一部分感兴趣,用户也一定不必要地且不方便地注意整个音频流。
发明内容
以下呈现与本文公开的一个或多个方面和/或实施例有关的简化概要。因此,以下概要既不应被视为与所有预期方面和/或实施例有关的广泛的概述,也不应将以下概要视为识别与所有预期方面和/或实施例有关的关键或重要元素,或描绘与任何特定方面和/或实施例相关联的范围。因此,以下概要的唯一目的是以简化的形式呈现与涉及本文公开的机制的一个或多个方面和/或实施例有关的某些概念,以先于下面呈现的详细描述。
一种警告用户音频流的改变的方法,所述方法包括:由用户的用户设备接收音频流,由用户设备检测在音频流中出现的音频模式上的改变,其中,对音频模式上的改变的检测是在音频流被静音时出现的,并且响应于检测到音频模式上的改变,由用户设备向用户提供指示音频模式上的改变已经出现的警报。
一种用于警告用户音频流的改变的装置,所述装置包括:至少一个处理器,其被配置为接收音频流,检测在音频流中出现的音频模式上的改变,其中,对音频模式上的改变的检测是在音频流被静音时出现的,并且响应于检测到音频模式上的改变,向用户提供指示音频模式上的改变已经出现的警报;收发机,其被耦合到至少一个处理器;以及存储器,其被耦合到至少一个处理器。
一种用于警告用户音频流的改变的装置,所述装置包括:用于接收音频流、检测在音频流中出现的音频模式上的改变的处理单元,其中,对音频模式上的改变的检测是在音频流被静音时出现的,并且响应于检测到音频模式上的改变,向用户提供指示音频模式上的改变已经出现的警报;通信单元,其被耦合到处理单元;以及存储单元,其被耦合到处理单元。
一种存储计算机可执行代码的非暂时性计算机可读介质,所述非暂时性计算机可读介质包括代码,所述代码用于:使用户的用户设备接收音频流,使用户设备检测在音频流中出现的音频模式上的改变,其中,对音频模式上的改变的检测是在音频流被静音时出现的,并且使用户设备响应于检测到音频模式上的改变而向用户提供指示音频模式上的改变已经出现的警报。
基于附图和详细描述,与本文公开的方面和实施例相关联的其它目的和优点对于本领域技术人员而言将是显而易见的。
附图说明
当结合附图考虑时,将更容易地获得对本公开内容的实施例的更完整的理解,因为相同的内容通过参考以下详细描述变得更好理解,附图仅是为了说明并非限制本公开内容而呈现的,并且在附图中:
图1示出了根据本公开内容的实施例的无线通信系统的高级系统架构。
图2示出了根据本公开内容的实施例的用户设备(UE)的示例。
图3示出了根据本公开内容的实施例的服务器。
图4示出了根据本公开内容的至少一个方面的用于警告用户音频流的改变的示例性流程。
图5示出了示出能够由音频模式检测模块监测的各种音频流的示例性流程。
图6示出了根据本公开内容的至少一个方面的用于警告用户音频流的改变的示例性流程。
图7是被配置为支持如本文教导的通信的装置的若干示例方面的简化框图。
具体实施方式
公开了用于警告用户音频流的改变的方法和系统。在方面中,用户的用户设备接收音频流,检测在音频流中出现的音频模式上的改变,其中对音频模式上的改变的检测是在音频流被静音时出现的,并且响应于检测到音频模式上的改变,向用户提供指示音频模式上的改变已经出现的警报。
在以下针对本公开内容的特定实施例的描述和相关附图中公开了本公开内容的这些和其它方面。在不脱离本公开内容的范围的情况下,可以设计替代的实施例。另外地,将不详细描述或将省略本公开内容的公知元件,以避免模糊本公开内容的相关细节。
本文使用词语“示例性”和/或“示例”来意指“用作示例、实例、或说明”。本文中被描述为“示例性”和/或“示例”的任何实施例不必然地被解释为优于或有利于其它实施例。同样地,术语“本公开内容的实施例”不要求本公开内容的所有实施例包括所讨论的特征、优点、或操作模式。
此外,根据要由例如计算设备的元件执行的动作的顺序来描述许多实施例。将认识到的是,本文描述的各种动作能够由特定电路(例如,专用集成电路(ASIC))、由通过一个或多个处理器执行的程序指令、或由二者的组合来执行。另外地,可以认为本文描述的这些动作的顺序被完全体现在任何形式的计算机可读存储介质中,在其中存储有相对应的计算机指令的集合,在执行计算机指令的集合时将使相关联的处理器执行本文描述的功能。因此,可以以多种不同的形式体现本公开内容的各个方面,这些不同的形式中的全部形式已经被预期是在所要求保护的主题的范围内的。另外,针对于本文描述的实施例中的每个实施例,任何这样的实施例的相对应的形式可以在本文中被描述为例如“被配置为执行所描述的动作的逻辑单元”。
客户端设备(本文中被称为用户设备(UE))可以是移动的或固定的,并且可以与有线接入网络和/或无线电接入网络(RAN)通信。如本文使用的,术语“UE”可以可互换地被称为“接入终端”或“AT”、“无线设备”、“用户设备”、“用户终端”、“用户站”、“用户终端”或“UT”、“移动设备”、“移动终端”、“移动台”及其变型。在实施例中,UE能够经由RAN与核心网络通信,并且通过核心网络,UE能够与诸如互联网的外部网络连接。当然,对于UE来说,例如通过有线接入网络、WiFi网络(例如,基于IEEE802.11等)等,连接到核心网络和/或互联网的其它机制也是可能的。可以由多种类型的设备中的任何一种类型的设备来体现UE,多种类型的设备包括但不限于蜂窝电话、个人数字助理(PDA)、寻呼机、膝上型计算机、台式计算机、PC卡、紧凑型闪存设备、外部或内部调制解调器、无线或有线电话等。UE可以通过其向RAN发送信号的通信链路被称为上行链路信道(例如,反向业务信道、反向控制信道、接入信道等)。RAN可以通过其向UE发送信号的通信链路被称为下行链路或前向链路信道(例如,寻呼信道、控制信道、广播信道、前向业务信道等)。如本文使用的,术语业务信道(TCH)可以指代上行链路/反向或下行链路/前向业务信道。
图1示出了根据本公开内容的实施例的无线通信系统100的高级系统架构。无线通信系统100包含UE 1……N。例如,在图1中,UE 1……2被示出为蜂窝呼叫电话,UE 3……5被示出为蜂窝触摸屏电话或智能电话,并且UE N被示出为台式计算机或PC。
参考图1,UE 1……N被配置为通过物理通信接口或层与接入网络(例如,RAN 120、接入点125等)通信,物理通信接口或层在图1中被示出为空中接口104、106、108、和/或直接有线连接。空中接口104和106可以符合给定的蜂窝通信协议(例如,码分多址(CDMA)、演进数据优化(EVDO)、增强型高速分组数据(eHRPD)、全球移动接入系统(GSM)、全球演进增强型数据速率(EDGE)、宽带CDMA(W-CDMA)、长期演进(LTE)等),而空中接口108可以符合无线IP协议(例如,IEEE 802.11)。RAN 120可以包括通过空中接口(例如,空中接口104和106)服务UE的多个接入点。RAN 120中的接入点可以被称为接入节点或AN、接入点或AP、基站或BS、节点B、演进型节点B等。这些接入点可以是地面接入点(或地面站)、或卫星接入点。RAN 120可以被配置为连接到核心网络140,核心网络140能够执行各种功能,各种功能包括由RAN 120服务的UE与由RAN 120或完全不同的RAN服务的其它UE之间的桥接电路交换(CS)呼叫,并且还能够与诸如互联网175的外部网络调解对分组交换(PS)数据的交换。
在一些示例中,互联网175包括多个路由代理和处理代理(为了方便起见,未在图1中示出)。在图1中,UE N被示出为直接地连接到互联网175(即,例如,通过WiFi或基于802.11的网络的以太网连接与核心网络140分开)。因此,互联网175可以起经由核心网络140桥接UE 1……N之间的分组交换数据通信的作用。图1中还示出了与RAN 120分开的接入点125。接入点125可以独立于核心网络140而被连接到互联网175(例如,经由诸如FiOS、电缆调制解调器等的光通信系统)。空中接口108可以通过本地无线连接(在示例中,例如,IEEE 802.11)服务UE 4或UE 5。UE N被示出为具有到互联网175的有线连接的台式计算机,到互联网175的有线连接例如到调制解调器或路由器的直接连接,调制解调器或路由器可以对应于示例中的接入点125本身(例如,用于具有有线和无线连接二者的WiFi路由器)。
参考图1,服务器170被示出为被连接到互联网175、核心网络140、或二者。服务器170可以被实现为多个结构上分开的服务器,或替代地可以对应于单个服务器。如下面将更详细地描述的,服务器170被配置为支持一个或多个通信服务(例如,互联网协议语音(VoIP)会话、按键通话(PTT)会话、群组通信会话、社交网络服务等),用于可以经由核心网络140和/或互联网175连接到服务器170的UE,和/或向UE提供内容(例如,网页下载)。
图2示出了根据本公开内容的实施例的UE(即,客户端设备)的示例。参考图2,UE200A被示出为呼叫电话,并且UE 200B被示出为触摸屏设备(例如,智能电话、平板电脑等)。如图2中示出的,如本领域中已知的,UE 200A的外壳被配置有天线205A、显示器210A、至少一个按钮215A(例如,PTT按钮、电源按钮、音量控制按钮等)、和小键盘220A以及其它组件。此外,如本领域中已知的,UE 200B的外壳被配置有触摸屏显示器205B、外围按钮210B、215B、220B、和225B(例如,电源控制按钮、音量或振动控制按钮、飞行模式切换按钮等)、和至少一个前面板按钮230B(例如,主页按钮等)以及其它组件。虽然没有明确地示出为UE200B的一部分,但UE 200B可以包括一个或多个外部天线和/或内置于UE 200B的外壳中的一个或多个集成天线,包括但不限于WiFi天线、蜂窝天线、卫星定位系统(SPS)天线(例如,全球定位系统(GPS)天线)等。另外地,虽然没有明确地示出,但UE 200A和UE 200B包括至少一个麦克风和一个或多个扬声器。
虽然诸如UE 200A和200B的UE的内部组件可以用不同的硬件配置来体现,但是用于内部硬件组件的基本高级UE配置被示出为图2中的平台202。平台202可以接收和执行从RAN 120发送的软件应用、数据、和/或命令,其最终可以来自核心网络140、互联网175、和/或其它远程服务器和网络(例如,服务器170、网站URL等)。平台202还可以独立地执行本地存储的应用而无需RAN交互。平台202可以包括可操作地被耦合到处理器208的收发机206,处理器208例如ASIC、或其它处理器、微处理器、逻辑电路、或其它数据处理设备。处理器208或其它处理器执行应用编程接口(API)204层,其与无线设备的存储器212中的任何驻留程序对接。存储器212可以包括只读或随机存取存储器(ROM或RAM)、电可擦除可编程ROM(EEPROM)、闪速存储卡、或计算机平台常用的任何存储器。平台202还可以包括本地数据库214,其可以存储在存储器212中未主动使用的应用以及其它数据。本地数据库214通常是闪速存储单元,但可以是如本领域中已知的任何辅助存储设备,例如,磁介质、EEPROM、光学介质、磁带、软盘、或硬盘等。
平台202还包括音频模式检测模块216。音频模式检测模块216可以是由处理器208从存储器212执行的应用。替代地,音频模式检测模块216可以是被耦合到处理器208的硬件电路或硬件和软件组件(例如,固件)。本文将进一步描述音频模式检测模块216的功能。在实施例中,如本文将进一步描述的,本地数据库214可以包括一个或多个音频模式检测规则218。
因此,本公开内容的实施例可以包括UE(例如,UE 200A、UE 200B等),其包括执行本文描述的功能的能力。如本领域技术人员将意识到的,各种逻辑元件可以在分立元件、在处理器上执行的软件模块、或软件和硬件的任何组合中来体现,以实现本文公开的功能。例如,处理器208、存储器212、API 204、音频模式检测模块216、以及本地数据库214(可选择地包括音频模式检测规则218)可以全部协同使用来加载、存储、以及执行本文公开的各种功能,并且因此执行这些功能的逻辑器件可以分布在各种元件上。替代地,可以将功能并入到一个分立组件中,例如,音频模式检测模块216。因此,图2中的UE 200A和200B的特征可以被认为仅是说明性的,并且本公开内容不限于所示出的特征或布置。
例如,在UE 200A和/或200B被配置为警告用户音频流的改变的情况下,处理器208结合音频模式检测模块216可以被配置为接收音频流,检测在音频流中出现的音频模式上的改变,并且响应于检测到音频模式上的改变,向用户提供指示音频模式上的改变已经出现的警报。当音频流被静音时,处理器208和/或音频模式检测模块216可以检测在音频流中出现的音频模式上的改变。
UE 200A和/或200B与RAN 120之间的无线通信可以是基于不同的技术的,例如,CDMA、W-CDMA、时分多址(TDMA)、频分多址(FDMA)、正交频分复用(OFDM)、GSM或可以在无线通信网络或数据通信网络中使用的其它协议。如前面讨论的并且在本领域中已知的,可以使用各种各样的网络和配置将语音传输和/或数据从RAN发送到UE。因此,本文提供的说明不旨在限制本公开内容的实施例,而仅仅是为了帮助描述本公开内容的实施例的方面。
各种实施例可以在各种各样的商业上可获得的服务器设备中的任何一个商业上可获得的服务器设备上实现,例如,图3中示出的服务器300。在示例中,服务器300可以对应于上述服务器170的一个示例配置。在图3中,服务器300包括被耦合到易失性存储器302和诸如磁盘驱动器303的大容量非易失性存储器的处理器301。服务器300还可以包括被耦合到处理器301的软盘驱动器、压缩光盘(CD)、或DVD光盘驱动器306。服务器300还可以包括被耦合到处理器301的网络接口304(例如,网络接入端口),用于与网络307建立数据连接,网络307例如被耦合到其它广播系统计算机和服务器、或被耦合到互联网175的局域网(LAN)。
服务器300还可以包括音频模式检测模块316。音频模式检测模块316可以是由处理器301从易失性存储器302执行的应用。替代地,音频模式检测模块316可以是被耦合到处理器301的硬件电路或硬件和软件组件(例如,固件)。本文将进一步描述音频模式检测模块316的功能。在实施例中,如本文将进一步描述的,易失性存储器302和/或磁盘驱动器303可以包括一个或多个音频模式检测规则318。
如上面提到的,经常在接收音频流时,例如,在对服务中心的呼叫、电话会议、多播呼叫等期间,仅在某些时间需要接收音频流的用户的注意力,例如,当用户取消“保持”时、当用户的名字被呼叫时、在向用户呈现感兴趣的主题期间等。
例如,经常当用户呼叫服务中心时,用户必须等待挂起直到代表接听电话。作为另一示例,在电话会议期间,仅某个主题可能需要用户的注意力和/或输入。作为另一个示例,在多播呼叫期间,用户可能仅对收听一个发言者的演讲而不是每个发言者的演讲感兴趣。在这样的情况下,即使用户仅对音频流的一部分感兴趣,用户也一并不必要地且不方便地注意整个音频流。
因此,本公开内容提供了用于警告用户在用户的用户设备(例如,UE200A或UE200B)处接收到的音频流的改变的方法和系统。音频流可以是在UE 200A或UE 200B处接收、采集、和/或播放的任何音频流,例如,交互式语音和/或视频呼叫的音频流(例如,视频会议呼叫、电话多播呼叫等)、非交互式视频流的音频流(例如,在用户正在观看流式传输视频内容的情况下)、非交互式音频流(例如,在用户正在收听流式传输音频的情况下)、由UE 200A或UE 200B的一个或多个麦克风采集的音频流等。
在实施例中,用户可以定义音频模式检测规则218,其定义了将在音频流中检测到的音频模式。音频模式可以是例如从音乐到人的语音的改变(例如,如在用户取消“保持”时会出现)、从人的语音到音乐的改变、从非音乐噪声(例如,静电、背景噪声等)到人的语音的改变、从人的语音到非音乐噪声(例如,静电、背景噪声等)的改变、发言者的改变、对特定发言者的改变、发言者的情绪上的改变(例如,发言者开始说得更尖锐)、关键词(例如,用户的名字)或一系列关键词、从第一音乐模式到第二音乐模式的改变、从第一噪声模式到第二噪声模式的改变等。注意,如本文使用的,术语“人的语音”不仅指代在音频流中实时传送的人的语音(即,音频流基本上在发言者正在讲话时在UE 200A或UE 200B处正被接收),而是可以是已经预先录制或甚至合成的人的语音。
在实施例中,音频模式检测模块216可以在UE 200A的显示器210A或UE 200B的触摸屏显示器205B上呈现用户界面,以允许用户来定义音频模式检测规则218。用户可以在接受输入的音频流时、当UE 200A或UE200B首先开始接收或播放音频流时、在音频流的重放期间的任何时间、在采集音频流时、或预先定义一个或多个音频模式检测规则218。例如,用户可以预先为某些类型的音频流设置某些规则,例如,“每当在电话会议中谈及我的名字时警告我”、“每当约翰史密斯说话时警告我”、“当代表把我取消“保持”时警告我”等。注意,虽然这些是可以预先建立的规则,但是用户还可以在UE 200A或UE 200B正在播放音频流的任何时间设置它们。
作为另一示例,在开始播放音频流之前(例如,在接受来电之前或在播放预先录制的音频流之前),音频模式检测模块216可以询问用户他或她是否想要为音频流选择一个或多个先前存储的音频模式检测规则218或定义一个或多个新的音频模式检测规则218。如果用户选择定义新的音频模式检测规则218,则在用户定义新的音频模式检测规则218时音频流可以开始播放,如在音频流是直播呼叫的情况下。替代地,可以在用户定义或选择一个或多个音频模式检测规则218的同时暂停音频流的重放,如在已经预先记录音频流的情况下。另外,在正在播放音频流的任何时间,用户可以选择由音频模式检测模块216呈现的菜单选项,以选择不同的或另外的音频模式检测规则218来应用于当前音频流,和/或以定义将应用于当前音频流并且可以被保存以用于将来的音频流的新音频模式检测规则218。在实施例中,音频模式检测规则218可以被存储在本地数据库214中。
在用户选择一个或多个音频模式检测规则218来应用于音频流之后,音频模式检测模块216监测音频流以检测由所选择的音频模式检测规则218定义的音频模式。音频模式检测模块216可以使用适合于被检测的音频模式的类型的音频模式检测方法。例如,在音频模式检测规则218定义从音乐到人的语音的改变、从人的语音到音乐的改变、从非音乐噪声到人的语音的改变、从人的语音到非音乐噪声的改变、从第一发言者到第二发言者的改变、发言者的情绪上的改变等的情况下,音频模式检测模块216可以使用音频流的语音特性分析来检测音频流的这样的改变。作为另一示例,在音频模式检测规则218定义关键词、一系列关键词、从音乐到人的语音的改变、从人的语音到音乐的改变、从非音乐噪声到人的语音的改变、从人的语音到非音乐噪声的改变等的情况下,音频模式检测模块216可以使用音频流的话音到文本转换来检测音频流的这样的改变。作为另一示例,在音频模式检测规则218定义从第一音乐模式到第二音乐模式的改变、从第一噪声模式到第二噪声模式的改变等的情况下,音频模式检测模块216可以使用音频流的频谱分析来检测音频流的这样的改变。
如将意识到的,上面讨论的音频模式检测方法不要求由UE 200A或UE200B的扬声器输出音频流。这样,音频流可以在音频模式检测模块216监测音频流时被静音。这为用户提供了额外的便利,只要用户不会被用户不感兴趣的音频流的部分分散注意力,并且如果他或她愿意,则用户可以改为收听其它音频素材。
当音频模式检测模块216检测到与音频模式检测规则218匹配的音频流的音频模式时,它使UE 200A或UE 200B向用户提供警报。警报可以是用户可配置的。在实施例中,警报可以是UE 200A或UE 200B的振动、UE200A或UE 200B上的照亮的灯、在UE 200A的显示器210A或UE 200B的触摸屏显示器205B上的显示的弹出窗口、或由UE 200A或UE 200B播放的听得见的音调。在另一实施例中,音频模式检测模块216可以使UE200A或UE 200B(具体地,收发机206)将警报发送到属于用户的第二用户设备,并且第二用户设备可以将该警报提供给用户。替代地,UE 200A或UE 200B二者以及第二用户设备可以警告用户。在另一替代方案中,音频模式检测模块216可以使UE 200A或UE 200B(具体地,收发机206)将警报广播到属于该用户的能够提供警报的每个用户设备,并且用户的每个用户设备可以警告用户音频模式上的改变。
在实施例中,音频模式检测模块216可以使UE 200A或UE 200B(具体地,收发机206)将适用的音频模式检测规则218发送到从其正在接收音频流的服务器(诸如服务器300),而不是在UE 200A或UE 200B处本地监测音频流。服务器300将接收到的音频模式检测规则218作为音频模式检测规则318存储在例如易失性存储器302或磁盘驱动器303中。音频模式检测模块216可以发送存储在本地数据库214中的音频模式检测规则218的全部音频模式检测规则,或仅发送为当前正在从服务器300接收的音频流选择的音频模式检测规则218。例如,在从服务器300接收音频流时,用户可以选择一个或多个音频模式检测规则218以应用于输入的音频流,并且音频模式检测模块216可以仅向服务器300发送所选择的音频模式检测规则218以被存储为音频模式检测规则318。替代地,为了节省本地数据库214中的空间,音频模式检测模块216可以向服务器300发送所有音频模式检测规则218,如同它们是被定义的而不是将它们存储在本地数据库214中。
当服务器300经由网络接口304将音频流流式传输到UE 200A或UE200B时,音频模式检测模块316监测音频流,为获取与由音频模式检测规则318定义的音频模式匹配的音频模式。针对该音频流,当音频模式检测模块316检测到音频流的音频模式匹配音频模式检测规则318时,它向UE200A或UE 200B发送通知以向用户提供警报。在实施例中,如上所述,服务器300还可以向属于用户的其它设备发送通知,以使得这些设备也可以警告用户。替代地,如上所述,在从服务器300接收到通知时,UE 200A或UE 200B可以向属于用户的其它设备发送通知。
图4示出了根据本公开内容的至少一个方面的用于警告用户音频流的改变的示例性流程400。图4中示出的流程400可以由UE 200A或UE 200B的音频模式检测模块216或服务器300的音频模式检测模块316来执行。在402处,音频模式检测模块216或316使用相关联的声码器来分析输入的音频流。例如,声码器可以对音频流执行频谱分析、执行音频流的话音到文本转换、执行音频流的语音特征分析等。在404处,音频模式检测模块216或316为来自例如本地数据库214或来自易失性存储器302或磁盘驱动器303的特定音频流加载配置的诸如音频模式检测规则218或318的音频模式。
在406处,音频模式检测模块216或316对音频流执行模式匹配以检测音频流的模式,例如,从音乐到语音、语音到音乐的改变、发言者的改变、关键词的改变、发言者情绪上的改变、音乐模式上的改变、噪声模式的改变等。在408处,音频模式检测模块216或316确定音频流中检测到的音频模式是否与由音频模式检测规则218或318定义的音频模式匹配。如上所述,如果存在匹配,则在410处,音频模式检测模块216或316使UE 200A或UE 200B或服务器300警告用户。如果不存在匹配,则音频模式检测模块216或316继续监测音频流。
在实施例中,用户可以另外地或替代地定义要被应用于从源到UE200A或UE 200B的音频输入而不是在UE 200A或UE 200B处正在接收的或播放的音频流的音频模式检测规则218。在方面中,用户可以定义在用户正在对UE 200A或UE 200B的麦克风讲话时(例如,当用户正在通话时)要被应用于UE 200A或UE 200B的用户的语音的一个或多个音频模式检测规则218。例如,用户可能希望在他或她发出特定单词或一系列单词时被通知,或可能希望UE 200A或UE 200B开始记录或停止记录该呼叫。
在另一方面,用户可以定义要被应用于由UE 200A或UE 200B采集的环境声音的一个或多个音频模式检测规则218。也就是说,用户可以定义要被应用于由UE 200A或UE 200B的麦克风采集的不同于用户的语音的音频的一个或多个音频模式检测规则218。例如,当用户通过连接到UE 200A或UE 200B的耳机(例如,经由导线、蓝牙等)收听音频并且因此无法清楚地听到环境声音时,用户可能希望当某人正在呼叫他或她的名字时被通知。正在通过耳机播放的音频在播放通知或以其它方式为用户提供通知时可以自动被暂停或被静音。
注意到,用户不需要收听要被通知的音频。更确切地说,用户可以定义音频模式检测规则218,以当用户在活动状态下正在利用UE 200A或UE200B执行任何任务(例如,阅读书籍、写电子邮件、浏览网站等)时通知用户检测到的环境声音(例如,用户的姓名、单词的模式、人的语音的存在、特定音乐模式等)。当用户正专注于这样的任务并且不在注意外部声音时,这可能是有用的。
在方面中,可以通知用户周围环境中的紧急情况通知,而不管用户是否已经定义了音频模式检测规则218来通知用户这样的紧急情况/音频模式。例如,UE 200A或UE 200B可以在周围环境中检测到火警、爆炸、警报器等时通知用户,而不管用户是否已经定义了相对应的音频模式检测规则218。代替地,这样的音频模式检测规则218可以默认被填充在本地数据库214中。
本公开内容的实施例可以被扩展到车辆,其中放置在车辆外部的一个或多个麦克风将检测车辆周围的环境声音。用户或车辆制造商或第三方可以定义要被应用于由麦克风采集的环境声音的一个或多个音频模式检测规则218。车辆可以在音频模式检测模块216识别到由麦克风检测到的音频流的已配置的模式时通知驾驶员,例如,鸣喇叭、警报器、使轮胎发出尖锐的声音等。
图5示出了示例性流程500,其示出了可以由音频模式检测模块216监测的各种音频流。音频流包括来自离线视频502的音频(例如,被下载到UE 200A或UE 200B并且由UE200A或UE 200B回放的视频)、直播/在线流式传输音频504(例如,视频流式传输)、语音对话506(例如,语音呼叫、视频呼叫)、UE 200A或UE 200B的周围环境中的语音508、以及用户自己的语音510。音频模式检测模块216基于音频模式检测规则218检测这些各种源的音频模式,并且在检测到定义的音频模式时发出配置的(用户或其它)指示514。
图6示出了根据本公开内容的至少一个方面的用于警告用户音频流的改变的示例性流程600。图6中示出的流程可以由用户设备(诸如图2中的UE 200A或UE 200B)来执行。
在600处,用户设备(例如,音频模式检测模块216)可选择地接收至少一个音频模式检测规则(例如,音频模式检测规则218)。用户设备可以基于经由用户设备的用户接口(例如,小键盘220A和/或触摸屏显示器205B)的用户输入来接收至少一个音频模式检测规则。操作604是可选择的,因为至少一个音频模式检测规则可以是默认的规则、由音频模式检测模块216预先填充的等。
在602处,用户设备接收音频流。在604处,用户设备(例如,收发机206)可选择地从诸如服务器300的服务器接收音频流。用户设备可以在它被生成时(例如在音频流是电话呼叫的情况下)基本上实时地接收音频流。替代地,音频流可以对应于基于先前的网络下载、来自对等设备的接收等被先前存储在用户设备的存储器(例如,本地数据库214)中的媒体文件。
在用户设备从服务器、对等设备、或本地存储器接收音频流的情况下,用户设备(例如,处理器208结合音频模式检测模块216)播放音频流。在音频流是从服务器(例如,服务器300)或对等设备接收的情况下,用户设备可以在接收音频流时基本上实时地播放音频流。音频流可以在其正在被播放时,基于来自用户的静音音频流的输入而被静音。
替代地,在606处,用户设备(例如,用户设备的一个或多个麦克风)可选择地从周围环境采集音频流。当用户正在收听通过耦合到用户设备的有线或无线耳机播放的不同音频流时,用户设备可以采集音频流。然而,用户不需要是正在收听另一音频流的,也不必要将用户设备耦合到一副耳机。更确切地说,音频模式检测模块216可以基于来自用户的指令来分析采集到的音频流。
在608处,用户设备(例如,处理器208结合音频模式检测模块216)检测在音频流中出现的音频模式上的改变。如本文描述的,对音频模式上的改变的检测可以在音频流被静音时出现。在用户设备正在采集音频流的情况下,正在被静音的音频流意指例如用户设备没有在播放采集到的音频流。
在方面中,在608处,检测音频模式上的改变可以包括:在610处,识别在音频流中出现的音频数据的模式;以及在612处,确定音频数据的模式与在由至少一个音频模式检测规则定义的在音频流中出现的音频模式上的改变匹配。在替代的方面中,在608处,检测音频模式上的改变可以包括:在614处,用户设备(例如,收发机206)将至少一个音频模式检测规则发送到服务器(例如,服务器300),其中,服务器(例如,处理器301结合音频模式检测模块316)基于至少一个音频模式检测规则(例如,存储为音频模式检测规则318)检测音频模式上的改变。在那样的情况下,该流程还包括:在616处,用户设备(例如,收发机206)基于服务器检测到音频模式上的改变接收来自服务器的通知。
在618处,响应于检测到音频模式上的改变,用户设备(例如,显示器210A、触摸屏显示器205B等)向用户提供指示音频模式上的改变已经出现的警报。在方面中,提供该警报可以另外地包括:在620处,用户设备(例如,收发机206)向第二用户设备发送警报,其中,第二用户设备向用户提供警报。在另一方面中,提供该警报可以另外地或替代地包括:在622处,用户设备(例如,收发机206)向属于用户的能够提供警报的每个用户设备广播警报,其中,用户的每个用户设备通知用户音频模式上的改变。
图7示出了被表示为一系列相互关联的功能模块的示例用户设备装置700。用于接收的模块702可以至少在一些方面对应于例如处理系统(例如,如本文讨论的,可选择地结合图2中的音频模式检测模块216的处理器208)。音频模式检测模块216在这里是可选择的,因为为了播放音频流,它可能是不被需要的。用于检测的模块704可以至少在一些方面对应于例如处理系统(例如,如本文讨论的,结合图2中的音频模式检测模块216、可选择地结合诸如收发机206的通信设备的处理器208)。用于提供的模块706可以至少在一些方面对应于例如处理系统(例如,如本文讨论的,结合图2中的音频模式检测模块216、可选择地结合诸如收发机206的通信设备的处理器208)。
图7的模块的功能可以以与本文的教导相一致的各种方式实现。在一些设计中,这些模块的功能可以被实现为一个或多个电子组件。在一些设计中,这些框的功能可以被实现为包括一个或多个处理器组件的处理系统。在一些设计中,可以使用例如一个或多个集成电路(例如,ASIC)的至少一部分来实现这些模块的功能。如本文讨论的,集成电路可以包括处理器、软件、其它相关组件、或其某种组合。因此,不同模块的功能可以被实现为例如集成电路的不同子集、被实现为软件模块集合的不同子集、或其组合。此外,应当意识到的是,(例如,集成电路的和/或软件模块集合的)给定子集可以为一个以上的模块提供功能的至少一部分功能。
另外,可以使用任何适当的单元来实现由图7表示的组件和功能以及本文描述的其它组件和功能。还可以至少部分使用如本文教导的相对应的结构来实现这样的单元。例如,上面结合图7的“用于……的模块”的组件描述的组件还可以对应于类似地指定的“用于……的单元”的功能。因此,在一些方面中,可以使用处理器组件、集成电路、或如本文教导的其它适当的结构中的一项或多项来实现这样的单元中的一个或多个单元。
本领域技术人员将意识到的是,可以使用各种各样的不同的技术和工艺中的任何一种技术和工艺来表示信息和信号。例如,可以在整个的以上描述中引用的数据、指令、命令、信息、信号、比特、符号、以及码片可以由电压、电流、电磁波、磁场或粒子、光场或粒子、或其任何组合来表示。
此外,本领域技术人员将意识到的是,结合本文公开的实施例描述的各种说明性逻辑框、模块、电路、以及算法步骤可以被实现为电子硬件、计算机软件、或二者的组合。为了清楚地说明硬件和软件的这种可互换性,上面已经在各种说明性的组件、框、模块、电路、以及步骤的功能方面对其进行了一般地描述。将这样的功能实现为硬件还是软件取决于特定应用和施加在整个系统上的设计约束。熟练的技术人员可以针对每个特定应用以不同方式实现所描述的功能,但是这样的实现决策不应被解释为导致脱离本公开内容的范围。
结合本文公开的实施例描述的各种说明性逻辑框、模块、以及电路可以用被设计为执行本文描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器,但是在替代方案中,处理器可以是任何传统的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP内核、或任何其它这样的配置。
结合本文中公开的实施例描述的方法、序列、和/或算法可以被直接体现在硬件中、在由处理器执行的软件模块中、或在两者的组合中。软件模块可以存在于RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、或本领域中已知的任何其它形式的存储介质中。示例性存储介质可以耦合到处理器,以使得处理器可以从存储介质读取信息,以及将信息写入存储介质。在替代方案中,存储介质可以是处理器的组成部分。处理器和存储介质可以存在于ASIC中。ASIC可以存在于用户终端(例如,UE)中。在替代方案中,处理器和存储介质可以作为分立组件存在于用户终端中。
在一个或多个示例性实施例中,所描述的功能可以在硬件、软件、固件、或其任何组合中被实现。如果在软件中被实现,则功能可以作为计算机可读介质上的一个或多个指令或代码被存储或被发送。计算机可读介质可以包括计算机存储介质和/或通信介质,该通信介质包括有助于将计算机程序从一个地方传送到另一个地方的任何介质。存储介质可以是能够由计算机存取的任何可用的介质。通过示例而非限制的方式,这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM、或其它光盘存储、磁盘存储、或其它磁性存储设备,或可以用于以指令或数据结构的形式携带或存储期望的程序代码并且能够由计算机存取的任何其它介质。此外,任何连接都适当地被称为计算机可读介质。例如,如果使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)、或诸如红外线、无线电、以及微波的无线技术来从网站、服务器、或其它远程源发送软件,则同轴电缆、光纤光缆、双绞线、DSL、或诸如红外线、无线电、以及微波的无线技术都被包括在介质的定义中。如本文使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘、以及蓝光光盘,其中磁盘通常磁性地复制数据,然而光盘用激光光学地复制数据。上面的组合也应该被包括在计算机可读介质的范围内。
尽管前述的公开内容示出了本公开内容的说明性实施例,但应当注意到的是,在不脱离如由所附权利要求书定义的本公开内容的范围的情况下,可以在本文中进行各种改变和修改。不需要以任何特定的顺序执行根据本文描述的本公开内容的实施例的方法权利要求的功能、步骤、和/或动作。此外,尽管可以以单数形式描述或要求保护本公开内容的元素,但是预期复数形式,除非明确说明限于单数形式。
Claims (30)
1.一种警告用户音频流的改变的方法,所述方法包括:
由所述用户的用户设备接收所述音频流;
由所述用户设备检测在所述音频流中出现的音频模式上的改变,其中,对所述音频模式上的改变的所述检测是在所述音频流被静音时出现的;以及
响应于检测到所述音频模式上的改变,由所述用户设备向所述用户提供指示所述音频模式上的改变已经出现的警报。
2.根据权利要求1所述的方法,还包括:
在所述用户设备处接收至少一个音频模式检测规则,其中,所述至少一个音频模式检测规则定义了在所述音频流中出现的所述音频模式上的改变。
3.根据权利要求2所述的方法,其中,所述检测包括:
识别在所述音频流中出现的音频数据的模式;
确定所述音频数据的模式与由所述至少一个音频模式检测规则定义的在所述音频流中出现的所述音频模式上的改变匹配。
4.根据权利要求2所述的方法,其中,所述至少一个音频模式检测规则是基于在所述用户设备处从所述用户接收的输入来定义的。
5.根据权利要求1所述的方法,还包括播放所述音频流,其中,在所述音频流中出现的所述音频模式上的改变包括:
在所述音频流中说出的一个或多个预先定义的关键词;
在所述音频流中出现的从第一发言者到第二发言者的改变;
在所述音频流中出现的发言者的情绪上的改变;
在所述音频流中出现的从第一音乐模式到第二音乐模式的改变;
在所述音频流中出现的从第一噪声模式到第二噪声模式的改变;
在所述音频流中出现的从口头词语到音乐的改变;
在所述音频流中出现的从音乐到口头词语的改变;
在所述音频流中出现的从口头词语到非音乐噪音的改变;或
在所述音频流中出现的从非音乐噪声到口头词语的改变。
6.根据权利要求5所述的方法,其中,所述音频流包括视频流的音频流,并且其中,所述一个或多个预先定义的关键词包括所述视频流中的用户选择的对话序列。
7.根据权利要求5所述的方法,其中,所述一个或多个预先定义的关键词对应于所述音频流中的口头词语的模式,并且其中,所述口头词语的模式是基于对所述音频流的话音到文本的转换来检测的。
8.根据权利要求5所述的方法,其中,从所述第一发言者到所述第二发言者的改变或所述发言者的情绪上的改变是基于对所述音频流的语音特征分析来检测的。
9.根据权利要求5所述的方法,其中,从所述第一音乐模式到所述第二音乐模式的改变是基于对所述音频流的频谱分析来检测的。
10.根据权利要求5所述的方法,其中,所述从口头词语到音乐的改变或所述从音乐到口头词语的改变是基于对所述音频流的语音特征分析来检测的。
11.根据权利要求5所述的方法,其中,所述从口头词语到音乐的改变或所述从音乐到口头词语的改变是基于对所述音频流的话音到文本的转换来检测的。
12.根据权利要求5所述的方法,其中,在所述从口头词语到音乐的改变之后出现的所述音乐的音乐模式是由所述用户指定的。
13.根据权利要求1所述的方法,其中,接收所述音频流包括由所述用户设备的至少一个麦克风采集所述音频流,并且其中,在所述音频流中出现的所述音频模式上的改变包括:
由所述用户设备的用户说出的一个或多个预先定义的关键词;或
在所述用户设备的环境中出现的一个或多个预先定义的音频事件。
14.根据权利要求13所述的方法,其中,所述音频流是在所述用户设备被耦合到一副耳机时被采集的。
15.根据权利要求13所述的方法,其中,所述一个或多个预先定义的音频事件包括汽笛、紧急警报、爆炸、或其任何组合中的一项或多项。
16.根据权利要求1所述的方法,还包括在所述用户设备处从服务器接收所述音频流,其中,对所述音频模式上的改变的所述检测包括:
由所述用户设备向所述服务器发送至少一个音频模式检测规则,其中,所述服务器基于所述至少一个音频模式检测规则来检测所述音频模式上的改变,并且
其中,所述方法还包括:
在所述用户设备处基于所述服务器检测到所述音频模式上的改变来从所述服务器接收通知,其中,所述警报是基于所述通知来提供的。
17.根据权利要求1所述的方法,其中,所述警报包括所述用户设备的振动、在所述用户设备上照亮的灯、在所述用户设备的用户界面上显示的弹出窗口、或由所述用户设备播放的听得见的音调。
18.根据权利要求1所述的方法,其中,提供所述警报包括将所述警报发送到第二用户设备,其中,所述第二用户设备向所述用户提供所述警报。
19.根据权利要求18所述的方法,其中,所述用户设备和所述第二用户设备二者都向所述用户提供所述警报。
20.根据权利要求1所述的方法,其中,提供所述警报包括向属于所述用户的能够提供警报的每个用户设备广播所述警报,其中,所述用户的每个用户设备通知所述用户所述音频模式上的改变。
21.一种用于警告用户音频流的改变的装置,所述装置包括:
至少一个处理器,其被配置为:
接收所述音频流;
检测在所述音频流中出现的音频模式上的改变,其中,对所述音频模式上的改变的检测是在所述音频流被静音时出现的;以及
响应于检测到所述音频模式上的改变,向所述用户提供指示所述音频模式上的改变已经出现的警报;
收发机,其被耦合到所述至少一个处理器;以及
存储器,其被耦合到所述至少一个处理器。
22.根据权利要求21所述的装置,其中,所述存储器被配置为存储至少一个音频模式检测规则,其中,所述至少一个音频模式检测规则定义了在所述音频流中出现的所述音频模式上的改变。
23.根据权利要求22所述的装置,其中,所述至少一个处理器还被配置为:
识别在所述音频流中出现的音频数据的模式;
确定所述音频数据的模式与由所述至少一个音频模式检测规则定义的在所述音频流中出现的所述音频模式上的改变匹配。
24.根据权利要求22所述的装置,其中,所述至少一个音频模式检测规则是基于在所述装置处从所述用户接收的输入来定义的。
25.根据权利要求21所述的装置,其中,所述至少一个处理器还被配置为播放所述音频流,并且其中,在所述音频流中出现的所述音频模式上的改变包括:
在所述音频流中说出的一个或多个预先定义的关键词;
在所述音频流中出现的从第一发言者到第二发言者的改变;
在所述音频流中出现的发言者的情绪上的改变;
在所述音频流中出现的从第一音乐模式到第二音乐模式的改变;
在所述音频流中出现的从第一噪声模式到第二噪声模式的改变;
在所述音频流中出现的从口头词语到音乐的改变;
在所述音频流中出现的从音乐到口头词语的改变;
在所述音频流中出现的从口头词语到非音乐噪音的改变;或
在所述音频流中出现的从非音乐噪声到口头词语的改变。
26.根据权利要求21所述的装置,还包括至少一个麦克风,其被配置为采集所述音频流,其中,在所述音频流中出现的所述音频模式上的改变包括:
由所述用户说出的一个或多个预先定义的关键词;或
在所述装置的环境中出现的一个或多个预先定义的音频事件。
27.根据权利要求21所述的装置,其中,所述收发机被配置为从服务器接收所述音频流,并且其中,所述至少一个处理器还被配置为使所述收发机进行以下操作:
向所述服务器发送至少一个音频模式检测规则,其中,所述服务器基于所述至少一个音频模式检测规则来检测所述音频模式上的改变;以及
基于由所述服务器检测到所述音频模式上的改变来从所述服务器接收通知,其中,所述警报是基于所述通知来提供的。
28.根据权利要求21所述的装置,其中,所述至少一个处理器还被配置为使所述收发机来将所述警报发送到第二用户设备,其中,所述第二用户设备向所述用户提供所述警报。
29.一种用于警告用户音频流的改变的装置,所述装置包括:
处理单元,所述处理单元用于:
接收所述音频流;
检测在所述音频流中出现的音频模式上的改变,其中,对所述音频模式上的改变的检测是在所述音频流被静音时出现的;以及
响应于检测到所述音频模式上的改变,向所述用户提供指示所述音频模式上的改变已经出现的警报;
通信单元,其被耦合到所述处理单元;以及
存储器单元,其被耦合到所述处理单元。
30.一种存储计算机可执行代码的非暂时性计算机可读介质,所述非暂时性计算机可读介质包括代码,所述代码用于:
使用户的用户设备接收音频流;
使所述用户设备检测在所述音频流中出现的音频模式上的改变,其中,对所述音频模式上的改变的检测是在所述音频流被静音时出现的;以及
使所述用户设备响应于检测到所述音频模式上的改变而向所述用户提供指示所述音频模式上的改变已经出现的警报。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/190,141 US20170371615A1 (en) | 2016-06-22 | 2016-06-22 | Alerting a user to a change in an audio stream |
US15/190,141 | 2016-06-22 | ||
PCT/US2017/034671 WO2017222747A1 (en) | 2016-06-22 | 2017-05-26 | Alerting a user to a change in an audio stream |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109417582A true CN109417582A (zh) | 2019-03-01 |
Family
ID=59014831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780038169.8A Pending CN109417582A (zh) | 2016-06-22 | 2017-05-26 | 警告用户音频流的改变 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20170371615A1 (zh) |
EP (1) | EP3476111A1 (zh) |
JP (1) | JP2019525527A (zh) |
KR (1) | KR20190019078A (zh) |
CN (1) | CN109417582A (zh) |
AU (1) | AU2017281274A1 (zh) |
BR (1) | BR112018076289A2 (zh) |
WO (1) | WO2017222747A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10204625B2 (en) | 2010-06-07 | 2019-02-12 | Affectiva, Inc. | Audio analysis learning using video data |
US10692516B2 (en) | 2017-04-28 | 2020-06-23 | International Business Machines Corporation | Dialogue analysis |
US10511806B2 (en) * | 2017-09-30 | 2019-12-17 | International Business Machines Corporation | Mitigating effects of distracting sounds in an audio transmission of a conversation between participants |
CN109151565B (zh) * | 2018-09-04 | 2019-12-20 | 北京达佳互联信息技术有限公司 | 播放语音的方法、装置、电子设备及存储介质 |
US20230319184A1 (en) * | 2020-08-20 | 2023-10-05 | Jlak Rothwell Pty Ltd | System and method enabling a user to select an audio stream of choice |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1261181A (zh) * | 1999-01-19 | 2000-07-26 | 国际商业机器公司 | 自动进行音频内容分析的系统和方法 |
US20130051543A1 (en) * | 2011-08-25 | 2013-02-28 | Verizon Patent And Licensing Inc. | Muting and un-muting user devices |
CN104869463A (zh) * | 2014-02-21 | 2015-08-26 | 中兴通讯股份有限公司 | 机顶盒报警的方法和机顶盒 |
US20160021247A1 (en) * | 2014-07-17 | 2016-01-21 | Verizon Patent And Licensing Inc. | Method and system for providing communication hold status management |
US20160093316A1 (en) * | 2014-09-30 | 2016-03-31 | Apple Inc. | Management, Replacement and Removal of Explicit Lyrics during Audio Playback |
CN105611410A (zh) * | 2014-11-21 | 2016-05-25 | Tcl集团股份有限公司 | 一种信息推送方法和装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0279649A (ja) * | 1988-09-16 | 1990-03-20 | Nec Corp | 多機能電話機の保留待機方式 |
WO2000030103A1 (fr) * | 1998-11-13 | 2000-05-25 | Sony Corporation | Procede et dispositif de traitement de signal audio |
US6829582B1 (en) * | 2000-10-10 | 2004-12-07 | International Business Machines Corporation | Controlled access to audio signals based on objectionable audio content detected via sound recognition |
JP4333369B2 (ja) * | 2004-01-07 | 2009-09-16 | 株式会社デンソー | 雑音除去装置、及び音声認識装置、並びにカーナビゲーション装置 |
US7706553B2 (en) * | 2005-07-13 | 2010-04-27 | Innotech Systems, Inc. | Auto-mute command stream by voice-activated remote control |
JP2007065347A (ja) * | 2005-08-31 | 2007-03-15 | Denso Corp | 音声認識システム |
US7884714B2 (en) * | 2007-01-05 | 2011-02-08 | Voorhuis Plc, Limited Liability Company | System and method for altering settings on electronic devices based upon sensing stimuli |
WO2008117461A1 (ja) * | 2007-03-27 | 2008-10-02 | Fujitsu Limited | 電子機器およびフレーム |
GB0709574D0 (en) * | 2007-05-18 | 2007-06-27 | Aurix Ltd | Speech Screening |
CN101889432B (zh) * | 2007-12-07 | 2013-12-11 | 艾格瑞系统有限公司 | 处于保持时的音乐的终端用户控制 |
JP2009206711A (ja) * | 2008-02-27 | 2009-09-10 | Kyocera Corp | 通信端末 |
US8836723B2 (en) * | 2010-06-18 | 2014-09-16 | Vantage Surgical Systems, Inc. | Augmented reality methods and systems including optical merging of a plurality of component optical images |
JP5695447B2 (ja) * | 2011-03-01 | 2015-04-08 | 株式会社東芝 | テレビジョン装置及び遠隔操作装置 |
KR101590332B1 (ko) * | 2012-01-09 | 2016-02-18 | 삼성전자주식회사 | 영상장치 및 그 제어방법 |
EP2868072B8 (en) * | 2012-06-28 | 2016-12-14 | Dolby Laboratories Licensing Corporation | Metric for meeting commencement in a voice conferencing system |
US20160015033A1 (en) * | 2014-07-21 | 2016-01-21 | Dow Agrosciences Llc | Compounds derived from herbicidal carboxylic acids and tetraalkylammonium or (arylalkyl)trialkylammonium hydroxides |
US9978366B2 (en) * | 2015-10-09 | 2018-05-22 | Xappmedia, Inc. | Event-based speech interactive media player |
-
2016
- 2016-06-22 US US15/190,141 patent/US20170371615A1/en not_active Abandoned
-
2017
- 2017-05-26 AU AU2017281274A patent/AU2017281274A1/en not_active Abandoned
- 2017-05-26 KR KR1020187036523A patent/KR20190019078A/ko not_active Application Discontinuation
- 2017-05-26 WO PCT/US2017/034671 patent/WO2017222747A1/en active Search and Examination
- 2017-05-26 CN CN201780038169.8A patent/CN109417582A/zh active Pending
- 2017-05-26 JP JP2018565273A patent/JP2019525527A/ja active Pending
- 2017-05-26 BR BR112018076289A patent/BR112018076289A2/pt unknown
- 2017-05-26 EP EP17728409.8A patent/EP3476111A1/en not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1261181A (zh) * | 1999-01-19 | 2000-07-26 | 国际商业机器公司 | 自动进行音频内容分析的系统和方法 |
US20130051543A1 (en) * | 2011-08-25 | 2013-02-28 | Verizon Patent And Licensing Inc. | Muting and un-muting user devices |
CN104869463A (zh) * | 2014-02-21 | 2015-08-26 | 中兴通讯股份有限公司 | 机顶盒报警的方法和机顶盒 |
US20160021247A1 (en) * | 2014-07-17 | 2016-01-21 | Verizon Patent And Licensing Inc. | Method and system for providing communication hold status management |
US20160093316A1 (en) * | 2014-09-30 | 2016-03-31 | Apple Inc. | Management, Replacement and Removal of Explicit Lyrics during Audio Playback |
CN105611410A (zh) * | 2014-11-21 | 2016-05-25 | Tcl集团股份有限公司 | 一种信息推送方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US20170371615A1 (en) | 2017-12-28 |
AU2017281274A1 (en) | 2018-11-29 |
KR20190019078A (ko) | 2019-02-26 |
BR112018076289A2 (pt) | 2019-03-26 |
JP2019525527A (ja) | 2019-09-05 |
WO2017222747A1 (en) | 2017-12-28 |
EP3476111A1 (en) | 2019-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11082465B1 (en) | Intelligent detection and automatic correction of erroneous audio settings in a video conference | |
CN109417582A (zh) | 警告用户音频流的改变 | |
US9959783B2 (en) | Converting audio to haptic feedback in an electronic device | |
US9609419B2 (en) | Contextual information while using headphones | |
KR101659674B1 (ko) | 보이스 링크 시스템 | |
US20230284339A1 (en) | Edge-based communication and internet communication for media distribution, data analysis, media download/upload, and other services | |
US20140269531A1 (en) | Intelligent connection management in wireless devices | |
US20140274005A1 (en) | Intelligent connection management in wireless devices | |
US10104524B2 (en) | Communications via a receiving device network | |
US10339974B1 (en) | Audio controller device and method of operation thereof | |
US8605865B2 (en) | Background noise effects | |
US8259954B2 (en) | Enhancing comprehension of phone conversation while in a noisy environment | |
JP2014006669A (ja) | 推奨コンテンツ通知システム、その制御方法および制御プログラム、ならびに記録媒体 | |
JP2006197116A (ja) | 通信方法及び通信システム | |
US20130231164A1 (en) | Mobile wireless communications device with voice alteration and related methods | |
US20240205279A1 (en) | Methods and systems for managing simultaneous data streams from multiple sources | |
JP2011250311A (ja) | 聴覚ディスプレイ装置及び方法 | |
CN106489264A (zh) | 用于个性化铃声的方法和电子设备 | |
US10178227B2 (en) | Personalizing the audio visual experience during telecommunications | |
US20220343935A1 (en) | Room sounds modes | |
WO2016135981A1 (ja) | 通信端末装置および通信システム | |
WO2022232792A1 (en) | Room sound modes | |
EP3697069A1 (en) | Method for providing a digital assistant in a communication session and associated communication network | |
JP2015156608A (ja) | 端末、通話システム、通話方法 | |
JP2018106100A (ja) | 端末装置、情報提供システム、端末装置の処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190301 |