CN111314763A - 流媒体播放方法及装置、存储介质与电子设备 - Google Patents
流媒体播放方法及装置、存储介质与电子设备 Download PDFInfo
- Publication number
- CN111314763A CN111314763A CN202010104324.5A CN202010104324A CN111314763A CN 111314763 A CN111314763 A CN 111314763A CN 202010104324 A CN202010104324 A CN 202010104324A CN 111314763 A CN111314763 A CN 111314763A
- Authority
- CN
- China
- Prior art keywords
- streaming media
- audio
- delay time
- playing
- picture data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 230000004044 response Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 33
- 230000006854 communication Effects 0.000 description 33
- 230000006870 function Effects 0.000 description 26
- 230000000694 effects Effects 0.000 description 14
- 238000007726 management method Methods 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 9
- 238000010295 mobile communication Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供一种流媒体播放方法、流媒体播放装置、存储介质与电子设备,涉及流媒体技术领域。其中,所述流媒体播放方法包括:响应于对目标流媒体的触发操作,将所述目标流媒体对应的音频数据传输至存在延迟时间的音频设备;所述延迟时间通过对所述音频设备进行延迟校准操作而确定;按照所述延迟时间对所述目标流媒体的画面数据进行缓存,以获取长度为所述延迟时间的缓存画面数据;若检测到所述音频数据的传输时长为所述延迟时间,将所述目标流媒体对应的缓存画面数据传输至显示设备进行显示,以对所述目标流媒体进行所述触发操作对应的播放控制操作。本公开能够避免延迟,解决音画不同步的问题。
Description
技术领域
本公开涉及流媒体技术领域,尤其涉及一种流媒体播放方法、流媒体播放装置、计算机可读存储介质与电子设备。
背景技术
目前,为了方便用户对流媒体进行控制,可以使用蓝牙耳机等设备来辅助进行流媒体播放操作。
流媒体播放大多依赖于终端媒体系统。终端媒体系统在播放流媒体时,需要在屏幕上输出画面数据、往蓝牙耳机等音频设备上输出音频数据。但蓝牙耳机等设备存在延迟,在观看视频等场景下,会因为蓝牙性能原因出现画面数据已播放但是音频数据延迟播放的情况,导致音画不同步。
为了解决上述问题,相关技术中,从蓝牙协议栈的角度,通过修改和优化蓝牙协议,达到减少延迟的效果。其中需要特定的蓝牙装置才可适配,难以适用于现有的蓝牙设备,因此具有一定的局限性,应用范围较小。由于需要修改协议,因此操作步骤较复杂,适用性较差,从而导致流媒体播放效果较差。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了一种流媒体播放方法、流媒体播放装置、计算机可读存储介质与电子设备,进而至少在一定程度上克服现有技术中播放流媒体具有局限性以及播放效果较差的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种流媒体播放方法,包括:响应于对目标流媒体的触发操作,将所述目标流媒体对应的音频数据传输至存在延迟时间的音频设备;所述延迟时间通过对所述音频设备进行延迟校准操作而确定;按照所述延迟时间对所述目标流媒体的画面数据进行缓存,以获取长度为所述延迟时间的缓存画面数据;若检测到所述音频数据的传输时长为所述延迟时间,将所述目标流媒体对应的缓存画面数据传输至显示设备进行显示,以对所述目标流媒体进行所述触发操作对应的播放控制操作。
根据本公开的一个方面,提供一种流媒体播放装置,包括:音频数据传输模块,用于响应于对目标流媒体的触发操作,将所述目标流媒体对应的音频数据传输至存在延迟时间的音频设备;所述延迟时间通过对所述音频设备进行延迟校准操作而确定;画面数据缓存模块,用于按照所述延迟时间对所述目标流媒体的画面数据进行缓存,以获取长度为所述延迟时间的缓存画面数据;流媒体控制模块,用于若检测到所述音频数据的传输时长为所述延迟时间,将所述目标流媒体对应的缓存画面数据传输至显示设备进行显示,以对所述目标流媒体进行所述触发操作对应的播放控制操作。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的流媒体播放方法。
根据本公开的一个方面,提供一种电子设备,包括:处理器;存储器,用于存储所述处理器的可执行指令;以及其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的流媒体播放方法。
本公开实施例中提供的流媒体播放方法、流媒体播放装置、计算机可读存储介质与电子设备,若接收到对目标流媒体的触发操作,则首先将所述目标流媒体对应的音频数据传输至存在延迟时间的音频设备,在传输音频设备的同时按照延迟时间对目标流媒体的画面数据进行缓存,以获取缓存画面数据;进一步在延迟时间的作用下将目标流媒体对应的缓存画面数据传输至显示设备进行显示。一方面,可针对不同的音频设备,计算不同的延迟时间,从而根据延迟时间适配不同的音频设备,使得目标流媒体的音频数据和画面数据可以同时播放,提高了普适性和应用范围。另一方面,从媒体播放角度对音频设备的延迟进行优化,不影响音频设备本身的协议标准,无需对音频设备的协议等内容进行优化和修改,简化了操作步骤,提高了准确性,降低了实现成本,提高了实用性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施方式,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式中用于实现流媒体播放方法的系统架构的示意图;
图2示出本示例性实施方式中一种流媒体播放方法的流程图;;
图3示出本示例性实施方式中播放控制的整体流程图;
图4示出本示例性实施方式中视频播放的具体流程图;
图5示出本示例性实施方式中一种流媒体播放装置的结构框图;
图6示出本示例性实施方式中用于实现上述方法的电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1中示意性示出了用于执行流媒体播放方法的系统架构。如图1所示,系统架构100可以包括第一端101和第二端102。其中,第一端101可以是客户端,例如可以为各种具有媒体播放功能的手持设备(智能手机)、台式计算机、车载设备以及可穿戴设备等等。第二端102可以是音频设备,例如具有播放音频功能的终端设备,用于对流媒体文件的音频进行播放。第二端例如可以为蓝牙耳机或者是其他用于播放音频的设备等等。
应该理解,图1中的第一端和第二端的数目仅仅是示意性的。根据实际需要,可以具有任意数目的客户端和蓝牙耳机。
基于上述系统架构,本公开示例性实施方式提供一种流媒体播放方法。图2示出了该流媒体播放方法的具体流程,可以包括以下步骤S210至步骤S230,详细介绍如下:
在步骤S210中,响应于对目标流媒体的触发操作,将所述目标流媒体对应的音频数据传输至存在延迟时间的音频设备;所述延迟时间通过对所述音频设备进行延迟校准操作而确定。
本公开实施例中,目标流媒体可以为任意待播放的流媒体,例如可以为待播放的视频等等。目标流媒体可以为直播类或者是点播类视频等等。目标流媒体可以通过各种合适的流媒体播放器进行播放和停止播放等操作。流媒体播放器可以为各种合适的用于播放流媒体的应用程序。流媒体播放器可以为点对点协议流媒体播放器或者是其他类型的播放器。其中,流媒体播放器可以为例如迅雷或者是其它视频播放器,具体可以基于安卓平台或者是其它平台而实现。
在响应于对目标流媒体的触发操作之前,首先可以响应于用户对某一个应用程序的开启操作开启流媒体播放器,以便于在流媒体播放器的操作界面上展示多个流媒体。开启操作可以为点击流媒体应用程序的标识或者是通过文字输入、语音输入等方式来开启。开启流媒体播放器之后,可以在流媒体播放器的显示界面上选择一个流媒体作为目标流媒体。除此之外,目标流媒体也可以为下载至本地进行存储或者是本地拍摄存储的流媒体,因此也可以直接从存储列表中选择一个作为目标流媒体,再选择用于播放该目标流媒体的流媒体播放器。
触发操作可以为作用于客户端中流媒体所在区域的触控操作(点击播放控件的操作、滑动进度条的操作),也可以为通过外部设备(例如鼠标、键盘等)来对目标流媒体进行的点击操作,也可以为语音操作或者是手势操作等等。触发操作可以对应于播放控制操作,触发操作指的是用户对目标流媒体执行的操作,播放控制操作可以为响应于触发操作对目标流媒体的播放状态进行调整的操作,具体可以包括但不限于播放操作、停止播放操作、快进操作、快退操作等等。本公开实施例中,以播放控制操作为播放操作和停止播放操作为例进行说明。
当目标流媒体为目标视频时,该目标流媒体可以包括音频数据和画面数据两个部分,即可以将目标流媒体拆分为音频数据和画面数据两个部分,且音频数据与画面数据基于显示的每一帧画面相互对应。但是,音频数据和画面数据可以通过不同的输出设备或结构进行展示和播放。
对于音频数据而言,可以通过音频设备播放。此处的音频设备可以为用于播放目标流媒体的终端设备之外的其他音频设备,该音频设备可以与终端设备通信连接,以便于将终端设备上的目标流媒体通过音频设备进行播放。音频设备可以为蓝牙耳机或者是无线耳机等等。由于音频设备通常存在一定的延迟,在播放视频等应用场景下,由于音频设备的性能等影响,对于目标流媒体可能出现画面数据已经播出,但是音频数据尚未播放的音画不同步的现象,从而导致播放效果较差。
为了解决上述音画不同步的问题,本公开实施例中,在接收到对目标流媒体的触发操作时,可以将拆分的目标流媒体对应的音频数据传输至存在延迟时间的音频设备。此处的延迟时间可以基于不同型号或类型的音频设备而不同,且可以根据每一个音频设备的参数进行具体配置。音频设备的参数可以为其播放参数。具体而言,延迟时间可以根据对音频设备进行延迟校准操作而确定。此处的延迟校准操作指的是通过一个延迟校准工具,来对用于播放音频数据的音频设备进行准确校准,从而使得音频数据和画面数据可以同步播放的操作。该延迟校准工具可以部署在系统端。通过该部署在系统端的延迟校准工具,可以使得与终端设备建立连接的多种型号的音频设备均能得到校准,而不需要对每个音频设备的协议分别进行优化,也不需要分别对每个音频设备进行修改,修改的是可以使用音频设备的应用系统,可移植性较高,能够实现统一配置和校准,提高了普适性,也减少了操作步骤,提高了校准的效率和准确性。
具体而言,延迟校准操作可以响应于对参考流媒体进行播放操作而进行。参考流媒体指的是用于测试待使用的音频设备的流媒体,对于每一个音频设备而言,每次使用之前均可以进行校准,以保证其准确性。该参考流媒体可以与目标流媒体不同,参考流媒体可以为某个示例视频。对于所有不同类型的音频设备而言,用于测试的参考流媒体可以相同,以便于保证校准的准确性,提高可参考性。与目标流媒体类似地,参考流媒体也可以被拆分为参考音频数据和参考画面数据。
基于对参考流媒体的播放操作,对音频设备进行延迟校准操作的过程可以包括:若接收到对所述参考流媒体的播放操作,同时输出所述参考流媒体对应的参考音频数据和参考画面数据;对所述参考音频数据和所述参考画面数据的播放时间进行对比得到播放时间之间的差别,并根据所述播放时间之间的差别进行所述延迟校准操作。其中,播放操作可以为响应于播放指令而执行的操作,播放指令可以通过点击操作或者是语音指令而实现。如果接收到了对该参考流媒体的播放操作,则可以同时将参考流媒体对应的参考音频数据和参考画面数据传输至各自对应的输出设备,并分别记录参考音频数据在音频设备的播放时间以及参考画面数据在显示设备的播放时间。其中,显示设备可以为终端设备本身配置的显示屏幕,也可以为与终端设备连接的其他用于显示的屏幕。进一步地,可以将两个播放时间进行对比,以得到播放时间之间的差别,从而将播放时间之间的差别作为对应于该音频设备的延迟时间,以便于基于该播放时间之间的差别对音频设备进行延迟校准操作。举例而言,参考画面数据的播放时间为T时刻,参考音频数据的播放时间为T+T1时刻,则可以确定该音频设备的延迟时间为T1。需要说明的是,在进行校准时,参考流媒体的播放操作要保持连续不中断,以提高准确性。
除此之外,还可以自动对音频设备进行校准。即自动播放一个视频,可以从硬件底层的角度,通过音频流传输至硬件的时间以及视频流传输至硬件的时间的差别来确定延迟时间,此处不做详细描述。本公开实施例中,通过对音频设备进行校准,能够准确地确定其延迟时间。
在对音频设备进行校准之后,如果接收到对目标流媒体的触发操作,则将目标流媒体对应的音频数据传输至存在延迟时间的音频设备,直至将所有音频数据传输完为止。具体可以从接收到触发操作的时刻开始,以接收到触发操作的时间作为起始时刻,从起始时刻开始将该目标视频流对应的音频数据连续输出至存在延迟时间的音频设备。其中,由于整个过程中可能接收到多次触发操作,且多次触发操作的类型可能不同,因此可以将每次触发操作对应的时间均作为起始时刻,以便于从起始时刻开始对音频数据执行对应的操作。通过将音频数据输出至音频设备,避免音频设备存在延迟问题而导致的音频数据滞后和延迟的问题。
接下来,在步骤S220中,按照所述延迟时间对所述目标流媒体的画面数据进行缓存,以获取长度为所述延迟时间的缓存画面数据。
本公开实施例中,由于画面数据的显示不存在延迟问题,可以响应于触发操作即时进行播放或者是停止播放。在确定延迟时间后,为了保证画面数据和音频数据的同步问题,可以在将音频数据传输至音频设备的同时,基于延迟时间对目标流媒体的画面数据进行缓存,以将画面数据作为缓存画面数据。即,先传输画面数据但是并不播放。需要说明的是,缓存画面数据时的缓存速度可以与音频数据的输出速度相同,以保证输出内容的匹配性和一致性。在进行画面数据缓存时,缓存的画面数据的长度可以与延迟时长一致,从而对音频设备的延迟时长进行优化。本公开实施例中,通过在传输音频数据的同时将画面数据进行缓存,可以避免画面数据先播放音频数据后播放从而导致的画面和音频不同步的问题,能够提高画面数据和音频数据的一致性和同步性。
在步骤S230中,若检测到所述音频数据的传输时长为所述延迟时间,将所述目标流媒体对应的缓存画面数据传输至显示设备进行显示,以对所述目标流媒体进行所述触发操作对应的播放控制操作。
本公开实施例中,由于音频数据存在延迟,因此可以先执行将音频数据输出至音频设备,进一步通过音频设备播放音频数据,但是从输出至播放中间会存在时长为延迟时间的缓冲延长时段。为了在音频设备存在延迟情况下,避免该延迟时间对于目标流媒体的播放情况的影响,可以根据音频数据的传输时长是否达到延迟时间对画面数据进行处理。如果检测到音频数据向音频设备的传输时长达到该音频设备的延迟时间,音频数据可以自动开始播放,此时可以将目标流媒体对应的经过缓存的缓存画面数据传输至显示设备,以便于在音频设备播放音频数据的同时开始通过显示设备播放画面数据,从而实现同时播放音频数据和画面数据的播放效果,实现音频数据和画面数据同步播放的目的。在播放音频数据时,可以通过音频设备同步播放不同声道的音频信号。需要补充的是,此处的显示设备即可以为终端设备的显示屏幕,或者也可以为与终端设备连接的投屏设备的屏幕等等,具体可以根据终端设备的连接状态确定。如果音频数据的传输时长未达到延迟时间,则继续传输音频数据和缓存画面数据。
具体而言,若检测到所述音频数据的传输时长为所述延迟时间,则将从起始时刻开始的所述目标流媒体对应的所述缓存画面数据传输至所述显示设备进行显示,以播放所述目标流媒体的所述画面数据。即,如果检测到将音频数据传输至音频设备的传输时长达到延迟时间,则音频数据可以开始自动播放。此时,可以将从起始时刻开始缓存的目标流媒体对应的缓存画面数据,从起始时刻开始传输至用于进行展示的显示设备。将缓存画面数据传输至显示设备的传输速度可以与音频数据的播放速度一致,例如都是2倍速或者是标准倍速,从而使得音频数据和画面数据的播放情况同步。举例而言,起始时刻为1分15秒,则从起始时刻开始传输音频数据,同时将从1分15秒开始的画面数据进行缓存。在音频数据的传输时长达到T1时,开始播放音频数据。与此同时,开始获取并播放从1分15秒起始的画面数据。通过先传输音频数据以及同时缓存画面数据,在音频数据传输时长达到延迟时间时播放画面数据的方式对目标流媒体执行与触发操作对应的播放控制操作,避免了播放过程中画面和音频不同步的问题,提高了一致性和播放效果,也提高了用户体验。
需要补充的是,在将缓存画面数据传输至显示设备时,可以根据延迟时间对目标流媒体对应的所有画面数据进行缓存,以便于更新缓存画面数据。此处指的是对除了正在传输的画面数据以外,目标流媒体中剩余的所有画面数据,且对所有画面数据进行缓存的速度可以与对缓存画面数据的播放速度一致,以保证目标流媒体播放的一致性,从而提高播放效果。
对于停止播放操作而言,在接收到指示停止播放操作的控制操作时,首先停止将音频数据输出至音频设备,进而在音频数据停止输出的时长达到延迟时间时,停止将缓存画面数据输出至显示设备。
本公开实施例中,通过对音频设备进行校准得到准确的延迟时间,简化了操作,提高了便捷性。通过校准后的音频设备以及将画面数据缓存延迟时间,能够在音频数据的传输时长达到延迟时间时对缓存画面数据从起始时刻进行播放,实现了音频设备和显示设备对目标流媒体的音频数据和画面数据进行同时播放的功能,避免了音画不同步的情况,提高了播放效果。
图3中示意性示出了播放控制的流程图,参考图3中所示,主要包括示例视频数据301、示例音频数据302、示例画面数据303、缓存画面数据304、蓝牙耳机305以及屏幕306几部分,主要包括以下步骤:
在步骤S300中,基于示例视频数据将开始播放通知传输至示例音频数据。
在步骤S310中,将开始播放通知传输至示例画面数据。
在步骤S320中,将示例音频数据输出至蓝牙耳机。
在步骤S330中,将示例画面数据进行缓存,输出至缓存画面数据。
在步骤S340中,在延迟时间T1之后,将缓存画面数据输出至屏幕进行播放。
在步骤S350中,基于示例视频数据将停止播放通知传输至示例音频数据。
在步骤S360中,将停止播放通知传输至示例画面数据。
在步骤S370中,将示例音频数据停止输出至蓝牙耳机。
在步骤S380中,停止将示例画面数据进行缓存,并停止输出至缓存画面数据。
在步骤S390中,在延迟时间T1之后,停止将缓存画面数据输出至屏幕进行播放。
通过图3中的技术方案,在进行播放时和停止播放时,均可以通过缓存画面数据对延迟时间进行优化,提高了播放控制的普适性和效果。
图4中示意性示出了视频播放的整体流程图,参考图4中所示,主要包括以下步骤:
在步骤S410中,播放示例视频,对当前的蓝牙耳机延迟进行调整,得到当前的蓝牙耳机的延迟时间T1。
在步骤S420中,播放目标视频。
在步骤S430中,输出目标视频的音频数据至蓝牙耳机,并缓存长度为延迟时间T1的画面数据作为缓存画面数据。
在步骤S440中,经过延迟时间后,输出缓存中的缓存画面数据,并不断地从目标视频的视频源中将画面数据输出至缓存。
在步骤S450中,停止播放。
图4中的技术方案,首先针对于音频设备确定其延迟时间,进而基于该延迟时间可以对画面数据进行缓存,同时将音频数据输出至音频设备,以便于在延迟时间之后同时播放音频数据和画面数据,实现音频数据和画面数据的同步播出,提高目标视频的播放效果和播放质量。
本公开实施例中,还提供了一种流媒体播放装置,参考图5中所示,该流媒体播放装置500可以包括以下模块:
音频数据传输模块501,用于响应于对目标流媒体的触发操作,将所述目标流媒体对应的音频数据传输至存在延迟时间的音频设备;所述延迟时间通过对所述音频设备进行延迟校准操作而确定;
画面数据缓存模块502,用于按照所述延迟时间对所述目标流媒体的画面数据进行缓存,以获取长度为所述延迟时间的缓存画面数据;
流媒体控制模块503,用于若检测到所述音频数据的传输时长为所述延迟时间,将所述目标流媒体对应的缓存画面数据传输至显示设备进行显示,以对所述目标流媒体进行所述触发操作对应的播放控制操作。
在本公开的一种示例性实施例中,所述装置还包括:校准模块,用于响应于对参考流媒体的播放操作,执行所述延迟校准操作以确定所述音频设备的所述延迟时间。
在本公开的一种示例性实施例中,所述校准模块包括:输出模块,用于若接收到对所述参考流媒体的播放操作,同时输出所述参考流媒体对应的参考音频数据和参考画面数据;延迟时间确定模块,用于对所述参考音频数据和所述参考画面数据的播放时间进行对比得到播放时间之间的差别,并根据所述播放时间之间的差别进行所述延迟校准操作以确定所述延迟时间。
在本公开的一种示例性实施例中,所述音频数据传输模块被配置为:将接收到所述触发操作的时间作为起始时刻,并从所述起始时刻开始将所述音频数据传输至存在所述延迟时间的音频设备直至所有音频数据传输完为止,以播放所述音频数据。
在本公开的一种示例性实施例中,所述流媒体控制模块包括:画面数据播放模块,用于若检测到所述音频数据的传输时长为所述延迟时间,则将从起始时刻开始的所述目标流媒体对应的所述缓存画面数据传输至所述显示设备进行显示,以播放所述目标流媒体的所述画面数据。
在本公开的一种示例性实施例中,所述播放控制操作包括播放操作、停止播放操作、快进操作以及快退操作中的至少一种。
在本公开的一种示例性实施例中,在将所述目标流媒体对应的缓存画面数据传输至显示设备进行显示时,所述装置还包括:持续缓存模块,用于根据所述延迟时间将所述目标流媒体对应的所有画面数据进行缓存,以更新所述缓存画面数据。
此外,上述装置中各部分的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
根据本公开的示例性实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本公开的示例性实施方式还提供了一种能够实现上述方法的电子设备。下面参照图6来描述根据本公开的这种示例性实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例,不应对本公开实施方式的功能和使用范围带来任何限制。
可以理解的是,本申请实施例示意的结构并不构成对电子设备600的具体限定。在本申请另一些实施例中,电子设备600可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
处理器610可以包括一个或多个处理单元,例如:处理器610可以包括应用处理器(Application Processor,AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit,GPU)、图像信号处理器(Image Signal Processor,ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor,DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器610中还可以设置存储器,用于存储指令和数据。存储器可以存储用于实现六个模块化功能的指令:检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令,并由处理器610来控制执行。在一些实施例中,处理器610中的存储器为高速缓冲存储器。该存储器可以保存处理器610刚用过或循环使用的指令或数据。如果处理器610需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器610的等待时间,因而提高了系统的效率。
在一些实施例中,处理器610可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit,I2C)接口、集成电路内置音频(Inter-Integrated CircuitSound,I2S)接口、脉冲编码调制(Pulse Code Modulation,PCM)接口、通用异步收发传输器(Universal Asynchronous Receiver/Rransmitter,UART)接口、移动产业处理器接口(Mobile Industry Processor Interface,MIPI)、通用输入输出(General-PurposeInput/Output,GPIO)接口、用户标识模块(Subscriber Identity Module,SIM)接口和/或通用串行总线(Universal Serial Bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(Serial Data line,SDA)和一根串行时钟线(Serail Clock line,SCL)。在一些实施例中,处理器610可以包含多组I2C总线。处理器610可以通过不同的I2C总线接口分别耦合触摸传感器6811、充电器、闪光灯、摄像模组691等。例如:处理器610可以通过I2C接口耦合触摸传感器6811,使处理器610与触摸传感器6811通过I2C总线接口通信,实现电子设备600的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器610可以包含多组I2S总线。处理器610可以通过I2S总线与音频模块670耦合,实现处理器610与音频模块670之间的通信。在一些实施例中,音频模块670可以通过I2S接口向无线通信模块660传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块670与无线通信模块660可以通过PCM总线接口耦合。在一些实施例中,音频模块670也可以通过PCM接口向无线通信模块660传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器610与无线通信模块660。例如:处理器610通过UART接口与无线通信模块660中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块670可以通过UART接口向无线通信模块660传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器610与显示屏690,摄像模组691等外围器件。MIPI接口包括摄像头串行接口(Camera Serial Interface,CSI),显示屏串行接口(DisplaySerial Interface,DSI)等。在一些实施例中,处理器610和摄像模组691通过CSI接口通信,实现电子设备600的拍摄功能。处理器610和显示屏690通过DSI接口通信,实现电子设备600的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器610与摄像模组691、显示屏690、无线通信模块660、音频模块670、传感器模块680等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口630是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB TypeC接口等。USB接口630可以用于连接充电器为电子设备600充电,也可以用于电子设备600与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备600的结构限定。在本申请另一些实施例中,电子设备600也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块640用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块640可以通过USB接口630接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块640可以通过电子设备600的无线充电线圈接收无线充电输入。充电管理模块640为电池642充电的同时,还可以通过电源管理模块641为电子设备供电。
电源管理模块641用于连接电池642、充电管理模块640与处理器610。电源管理模块641接收电池642和/或充电管理模块640的输入,为处理器610、内部存储器621、显示屏690、摄像模组691和无线通信模块660等供电。电源管理模块641还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块641也可以设置于处理器610中。在另一些实施例中,电源管理模块641和充电管理模块640也可以设置于同一个器件中。
电子设备600的无线通信功能可以通过天线1、天线2、移动通信模块650、无线通信模块660、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备600中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块650可以提供应用在电子设备600上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块650可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(Low Noise Amplifier,LNA)等。移动通信模块650可以由天线1接收电磁波,并对接收的电磁波进行滤波、放大等处理,传送至调制解调处理器进行解调。移动通信模块650还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块650的至少部分功能模块可以被设置于处理器610中。在一些实施例中,移动通信模块650的至少部分功能模块可以与处理器610的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器671,受话器672等)输出声音信号,或通过显示屏690显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器610,与移动通信模块650或其他功能模块设置在同一个器件中。
无线通信模块660可以提供应用在电子设备600上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络)、蓝牙(Bluetooth,BT)、全球导航卫星系统(Global Navigation Satellite System,GNSS)、调频(Frequency Modulation,FM)、近距离无线通信技术(Near Field Communication,NFC)、红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块660可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块660经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器610。无线通信模块660还可以从处理器610接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备600的天线1和移动通信模块650耦合,天线2和无线通信模块660耦合,使得电子设备600可以通过无线通信技术与网络以及其他设备通信。
电子设备600通过GPU、显示屏690及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏690和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器610可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏690用于显示图像,视频等,本公开实施例中具体用于播放流媒体。显示屏690包括显示面板。显示面板可以采用液晶显示屏、有机发光二极管、有源矩阵有机发光二极体或主动矩阵有机发光二极体、柔性发光二极管、Miniled、MicroLed、Micro-oLed、量子点发光二极管等。在一些实施例中,电子设备600可以包括1个或N个显示屏690,N为大于1的正整数。
电子设备600可以通过ISP、摄像模组691、视频编解码器、GPU、显示屏690及应用处理器等实现拍摄功能。
ISP用于处理摄像模组691反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像模组691中。
摄像模组691用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件或互补金属氧化物半导体光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备600可以包括1个或N个摄像模组691,N为大于1的正整数,若电子设备600包括N个摄像头,N个摄像头中有一个是主摄像头。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备600在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备600可以支持一种或多种视频编解码器。这样,电子设备600可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备600的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口622可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备600的存储能力。外部存储卡通过外部存储器接口622与处理器610通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器621可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器621可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备600使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器621可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(Universal Flash Storage,UFS)等。处理器610通过运行存储在内部存储器621的指令和/或存储在设置于处理器中的存储器的指令,执行电子设备600的各种功能应用以及数据处理。
电子设备600可以通过音频模块670、扬声器671、受话器672、麦克风673、耳机接口674及应用处理器等实现音频功能。例如音乐播放、录音等。
音频模块670用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块670还可以用于对音频信号编码和解码。在一些实施例中,音频模块670可以设置于处理器610中,或将音频模块670的部分功能模块设置于处理器610中。
扬声器671,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备600可以通过扬声器671收听音乐,或收听免提通话。
受话器672,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备600接听电话或语音信息时,可以通过将受话器672靠近人耳接听语音。
麦克风673,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风673发声,将声音信号输入到麦克风673。电子设备600可以设置至少一个麦克风673。在另一些实施例中,电子设备600可以设置两个麦克风673,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备600还可以设置三个,四个或更多麦克风673,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口674用于连接有线耳机。耳机接口674可以是USB接口630,也可以是3.5mm的开放移动电子设备平台(Open Mobile Terminal Platform,OMTP)标准接口,美国蜂窝电信工业协会(Cellular Telecommunications Industry Association of the USA,CTIA)标准接口。
深度传感器6801用于获取景物的深度信息。在一些实施例中,深度传感器可以设置于摄像模组691。
压力传感器6802用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器6802可以设置于显示屏690。压力传感器6802的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器6802,电极之间的电容改变。电子设备600根据电容的变化确定压力的强度。当有触摸操作作用于显示屏690,电子设备600根据压力传感器6802检测所述触摸操作强度。电子设备600也可以根据压力传感器6802的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器6803可以用于确定电子设备600的运动姿态。在一些实施例中,可以通过陀螺仪传感器6803确定电子设备600围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器6803可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器6803检测电子设备600抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备600的抖动,实现防抖。陀螺仪传感器6803还可以用于导航,体感游戏场景。
气压传感器6804用于测量气压。在一些实施例中,电子设备600通过气压传感器6804测得的气压值计算海拔高度,辅助定位和导航。
磁传感器6805包括霍尔传感器。电子设备600可以利用磁传感器6805检测翻盖皮套的开合。在一些实施例中,当电子设备600是翻盖机时,电子设备600可以根据磁传感器6805检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器6806可检测电子设备600在各个方向上(一般为三轴)加速度的大小。当电子设备600静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器6807,用于测量距离。电子设备600可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备600可以利用距离传感器6807测距以实现快速对焦。
接近光传感器6808可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备600通过发光二极管向外发射红外光。电子设备600使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备600附近有物体。当检测到不充分的反射光时,电子设备600可以确定电子设备600附近没有物体。电子设备600可以利用接近光传感器6808检测用户手持电子设备600贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器6808也可用于皮套模式,口袋模式自动解锁与锁屏。
指纹传感器6809用于采集指纹。电子设备600可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器6810用于检测温度。在一些实施例中,电子设备600利用温度传感器6810检测的温度,执行温度处理策略。例如,当温度传感器6810上报的温度超过阈值,电子设备600执行降低位于温度传感器6810附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备600对电池642加热,以避免低温导致电子设备600异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备600对电池642的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器6811,也称“触控器件”。触摸传感器6811可以设置于显示屏690,由触摸传感器6811与显示屏690组成触摸屏,也称“触控屏”。触摸传感器6811用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏690提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器6811也可以设置于电子设备600的表面,与显示屏690所处的位置不同。
环境光传感器6812用于感知环境光亮度。电子设备600可以根据感知的环境光亮度自适应调节显示屏690亮度。环境光传感器6812也可用于拍照时自动调节白平衡。环境光传感器6812还可以与接近光传感器6808配合,检测电子设备600是否在口袋里,以防误触。
骨传导传感器6813可以获取振动信号。在一些实施例中,骨传导传感器6813可以获取人体声部振动骨块的振动信号。骨传导传感器6813也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器6813也可以设置于耳机中,结合成骨传导耳机。音频模块670可以基于所述骨传导传感器6813获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器6813获取的血压跳动信号解析心率信息,实现心率检测功能。
按键694包括开机键,音量键等。按键694可以是机械按键。也可以是触摸式按键。电子设备600可以接收按键输入,产生与电子设备600的用户设置以及功能控制有关的键信号输入。
马达693可以产生振动提示。马达693可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏690不同区域的触摸操作,马达693也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器692可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口695用于连接SIM卡。SIM卡可以通过插入SIM卡接口695,或从SIM卡接口695拔出,实现和电子设备600的接触和分离。电子设备600可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口695可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口695可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口695也可以兼容不同类型的SIM卡。SIM卡接口695也可以兼容外部存储卡。电子设备600通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备600采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备600中,不能和电子设备600分离。
特别地,根据本发明的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理单元执行时,执行本申请的系统中限定的各种功能。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。
此外,上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (10)
1.一种流媒体播放方法,其特征在于,包括:
响应于对目标流媒体的触发操作,将所述目标流媒体对应的音频数据传输至存在延迟时间的音频设备;所述延迟时间通过对所述音频设备进行延迟校准操作而确定;
按照所述延迟时间对所述目标流媒体的画面数据进行缓存,以获取长度为所述延迟时间的缓存画面数据;
若检测到所述音频数据的传输时长为所述延迟时间,将所述目标流媒体对应的缓存画面数据传输至显示设备进行显示,以对所述目标流媒体进行所述触发操作对应的播放控制操作。
2.根据权利要求1所述的流媒体播放方法,其特征在于,所述方法还包括:
响应于对参考流媒体的播放操作,执行所述延迟校准操作以确定所述音频设备的所述延迟时间。
3.根据权利要求2所述的流媒体播放方法,其特征在于,所述响应于对参考流媒体的播放操作,执行所述延迟校准操作以确定所述音频设备的所述延迟时间,包括:
若接收到对所述参考流媒体的播放操作,同时输出所述参考流媒体对应的参考音频数据和参考画面数据;
对所述参考音频数据和所述参考画面数据的播放时间进行对比得到播放时间之间的差别,并根据所述播放时间之间的差别进行所述延迟校准操作以确定所述延迟时间。
4.根据权利要求1所述的流媒体播放方法,其特征在于,所述将所述目标流媒体对应的音频数据传输至存在延迟时间的音频设备,包括:
将接收到所述触发操作的时间作为起始时刻,并从所述起始时刻开始将所述音频数据传输至存在所述延迟时间的音频设备直至所有音频数据传输完为止,以播放所述音频数据。
5.根据权利要求4所述的流媒体播放方法,其特征在于,所述若检测到所述音频数据的传输时长为所述延迟时间,将所述目标流媒体对应的缓存的画面数据传输至显示设备进行显示,包括:
若检测到所述音频数据的传输时长为所述延迟时间,则将从所述起始时刻开始的所述目标流媒体对应的所述缓存画面数据传输至所述显示设备进行显示,以播放所述目标流媒体的所述画面数据。
6.根据权利要求1所述的流媒体播放方法,其特征在于,所述播放控制操作包括播放操作、停止播放操作、快进操作以及快退操作中的至少一种。
7.根据权利要求1所述的流媒体播放方法,其特征在于,在将所述目标流媒体对应的缓存画面数据传输至显示设备进行显示时,所述方法还包括:
根据所述延迟时间将所述目标流媒体对应的所有画面数据进行缓存,以更新所述缓存画面数据。
8.一种流媒体播放装置,其特征在于,包括:
音频数据传输模块,用于响应于对目标流媒体的触发操作,将所述目标流媒体对应的音频数据传输至存在延迟时间的音频设备;所述延迟时间通过对所述音频设备进行延迟校准操作而确定;
画面数据缓存模块,用于按照所述延迟时间对所述目标流媒体的画面数据进行缓存,以获取长度为所述延迟时间的缓存画面数据;
流媒体控制模块,用于若检测到所述音频数据的传输时长为所述延迟时间,将所述目标流媒体对应的缓存画面数据传输至显示设备进行显示,以对所述目标流媒体进行所述触发操作对应的播放控制操作。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的流媒体播放方法。
10.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储所述处理器的可执行指令;以及
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的流媒体播放方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010104324.5A CN111314763A (zh) | 2020-02-20 | 2020-02-20 | 流媒体播放方法及装置、存储介质与电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010104324.5A CN111314763A (zh) | 2020-02-20 | 2020-02-20 | 流媒体播放方法及装置、存储介质与电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111314763A true CN111314763A (zh) | 2020-06-19 |
Family
ID=71159974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010104324.5A Pending CN111314763A (zh) | 2020-02-20 | 2020-02-20 | 流媒体播放方法及装置、存储介质与电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111314763A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669884A (zh) * | 2020-12-31 | 2021-04-16 | 广州酷狗计算机科技有限公司 | 音频数据处理方法、装置、设备及存储介质 |
CN114520849A (zh) * | 2022-02-21 | 2022-05-20 | 维沃移动通信有限公司 | 媒体播放的控制方法和控制装置 |
WO2022120782A1 (en) * | 2020-12-11 | 2022-06-16 | Qualcomm Incorporated | Multimedia playback synchronization |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204305260U (zh) * | 2014-12-28 | 2015-04-29 | 冠捷显示科技(厦门)有限公司 | 一种视频与无线音箱音频匹配的电视机 |
CA3046645A1 (en) * | 2016-12-09 | 2018-06-14 | Arris Enterprises Llc | Calibration device, method and program for achieving synchronization between audio and video data when using bluetooth audio devices |
CN109144642A (zh) * | 2018-08-14 | 2019-01-04 | Oppo广东移动通信有限公司 | 显示控制方法、装置、电子设备及存储介质 |
CN109688528A (zh) * | 2018-12-27 | 2019-04-26 | 安克创新科技股份有限公司 | 音频设备及信号延迟的测试方法、系统以及存储介质 |
CN110290453A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 无线播放设备的延时测试方法及系统 |
-
2020
- 2020-02-20 CN CN202010104324.5A patent/CN111314763A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204305260U (zh) * | 2014-12-28 | 2015-04-29 | 冠捷显示科技(厦门)有限公司 | 一种视频与无线音箱音频匹配的电视机 |
CA3046645A1 (en) * | 2016-12-09 | 2018-06-14 | Arris Enterprises Llc | Calibration device, method and program for achieving synchronization between audio and video data when using bluetooth audio devices |
CN109144642A (zh) * | 2018-08-14 | 2019-01-04 | Oppo广东移动通信有限公司 | 显示控制方法、装置、电子设备及存储介质 |
CN109688528A (zh) * | 2018-12-27 | 2019-04-26 | 安克创新科技股份有限公司 | 音频设备及信号延迟的测试方法、系统以及存储介质 |
CN110290453A (zh) * | 2019-06-28 | 2019-09-27 | Oppo广东移动通信有限公司 | 无线播放设备的延时测试方法及系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022120782A1 (en) * | 2020-12-11 | 2022-06-16 | Qualcomm Incorporated | Multimedia playback synchronization |
CN112669884A (zh) * | 2020-12-31 | 2021-04-16 | 广州酷狗计算机科技有限公司 | 音频数据处理方法、装置、设备及存储介质 |
CN114520849A (zh) * | 2022-02-21 | 2022-05-20 | 维沃移动通信有限公司 | 媒体播放的控制方法和控制装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112929654B (zh) | 检测音画同步的方法、装置、设备及存储介质 | |
CN113448482B (zh) | 触控屏的滑动响应控制方法及装置、电子设备 | |
CN111314763A (zh) | 流媒体播放方法及装置、存储介质与电子设备 | |
CN111526407B (zh) | 屏幕内容的显示方法及装置 | |
CN113992663B (zh) | 发送文件的方法、电子设备及可读存储介质 | |
CN114422340A (zh) | 日志上报方法、电子设备及存储介质 | |
CN113934330A (zh) | 一种截屏方法及电子设备 | |
CN113467735A (zh) | 图像调整方法、电子设备及存储介质 | |
CN111930335A (zh) | 声音调节方法及装置、计算机可读介质及终端设备 | |
CN114339429A (zh) | 音视频播放控制方法、电子设备和存储介质 | |
CN114257920B (zh) | 一种音频播放方法、系统和电子设备 | |
CN113593567B (zh) | 视频声音转文本的方法及相关设备 | |
CN111104295A (zh) | 一种页面加载过程的测试方法及设备 | |
CN112188094B (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
CN109285563B (zh) | 在线翻译过程中的语音数据处理方法及装置 | |
CN113781548A (zh) | 多设备的位姿测量方法、电子设备及系统 | |
CN112532508A (zh) | 一种视频通信方法及视频通信装置 | |
WO2022199613A1 (zh) | 同步播放方法及装置 | |
CN113467904A (zh) | 确定协同模式的方法、装置、电子设备和可读存储介质 | |
CN111026285B (zh) | 一种调节压力阈值的方法及电子设备 | |
CN115389927A (zh) | 马达阻尼的测算方法和系统 | |
CN115393676A (zh) | 手势控制优化方法、装置、终端和存储介质 | |
CN111432156A (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
CN111586236A (zh) | 电子设备标记方法及装置、计算机可读介质及电子设备 | |
CN112463086A (zh) | 一种显示控制方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200619 |
|
RJ01 | Rejection of invention patent application after publication |