CN114827581A - 同步时延测量方法、内容同步方法、终端设备及存储介质 - Google Patents
同步时延测量方法、内容同步方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114827581A CN114827581A CN202110121978.3A CN202110121978A CN114827581A CN 114827581 A CN114827581 A CN 114827581A CN 202110121978 A CN202110121978 A CN 202110121978A CN 114827581 A CN114827581 A CN 114827581A
- Authority
- CN
- China
- Prior art keywords
- terminal device
- video
- terminal equipment
- audio
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请适用于终端技术领域,尤其涉及同步时延测量方法、内容同步方法、终端设备及存储介质。该方法可以准确测量第一终端设备与第二终端设备进行画面同步的同步时延、视频同步的同步时延以及音频同步的同步时延,使得第一终端设备在将内容共享至第二终端设备进行同步播放时,可以确定第一终端设备与第二终端设备之间的连接信息,并根据共享内容以及第一终端设备与第二终端设备之间的连接信息确定同步播放的同步时延,从而根据同步时延控制第一终端设备的内容播放,和/或第二终端设备的内容播放,以确保多屏互动中内容播放的同步性,提高内容的播放效果,提升用户体验。
Description
技术领域
本申请属于终端技术领域,尤其涉及同步时延测量方法、内容同步方法、终端设备及计算机可读存储介质。
背景技术
随着终端技术的发展,越来越多的终端设备具备多屏互动功能,以在不同终端设备上同步播放内容。例如,某一终端设备可以将该终端设备的画面投屏至其他终端设备进行同步播放,或者可以将该终端设备的音频投放至其他终端设备进行同步播放,以方便用户浏览或者提高内容的播放效果。但在进行多屏互动时,往往需要对内容进行编码、传输或者解码等操作,由于编码、传输或者解码等操作中容易产生时延,造成内容播放的不同步,影响用户体验。
发明内容
本申请实施例提供了一种同步时延测量方法、内容同步方法、终端设备及计算机可读存储介质,能够准确测量同步播放的同步时延,以根据同步时延确保多屏互动中内容播放的同步性,提升用户体验。
第一方面,本申请实施例提供了一种同步时延测量方法,应用于第一终端设备,用于测量画面同步中的同步时延,所述方法可以包括:
所述第一终端设备根据第一连接信息建立所述第一终端设备与第二终端设备之间的网络连接;
所述第一终端设备播放第一视频,并将所述第一视频中的视频帧投屏至所述第二终端设备;
所述第一终端设备获取拍摄图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧,所述第二视频帧为所述第一视频中的视频帧;
所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
通过上述的同步时延测量方法,在画面同步中,可以通过第一终端设备进行第一视频的播放,并将所播放的第一视频中的视频帧投屏至第二终端设备。然后,可以对第二终端设备的显示界面进行拍摄,得到拍摄图像,从而可以根据拍摄图像准确确定第一终端设备与第二终端设备进行画面同步的同步时延。
在第一方面的一种可能的实现方式中,所述第一终端设备获取拍摄图像,可以包括:
所述第一终端设备通过所述第一终端设备的摄像头获取所述第二终端设备对应的拍摄图像。
在该方案提供的同步时延测量中,第一终端设备可以通过第一终端设备的摄像头来进行拍摄图像的获取,即拍摄图像中仅包括第二终端设备的显示界面,以方便进行拍摄图像的获取,从而可以根据拍摄图像来进行同步时延的确定,提升用户体验。
示例性的,所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,包括:
所述第一终端设备根据所述拍摄图像确定所述第二视频帧的第二播放时间;
所述第一终端设备获取所述第一终端设备在同一时刻播放的第一视频帧的第一播放时间,所述第一播放时间和所述第二播放时间为视频帧在所述第一视频中的播放时间,所述同一时刻为所述第二终端设备播放所述第二视频帧的时刻;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
在该方案提供的同步时延测量方法中,第一终端设备可以根据拍摄图像获取第二终端设备对应的视频播放进度(即第二播放时间),并可以后台获取第一终端设备在同一时刻的视频播放进度(即第一播放时间),以根据同一时刻,第一终端设备的视频播放进度与第二终端设备的视频播放进度之间的时间差确定第一终端设备与第二终端设备进行画面同步的同步时延。
示例性的,所述第一视频的每一视频帧中设置有对应的视频标识,所述视频标识中包括帧序号;
所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,可以包括:
所述第一终端设备根据所述拍摄图像确定所述第二视频帧的第二播放时间,并根据所述拍摄图像中的视频标识确定所述第二视频帧的第二帧序号;
所述第一终端设备获取所述第一终端设备播放所述第二帧序号的视频帧的第一播放时间;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延;
其中,所述第一播放时间和所述第二播放时间为所述第一终端设备或者所述第二终端设备的系统时间。
在该方案提供的同步时延测量方法中,第一终端设备可以根据拍摄图像获取第二终端设备当前播放的视频帧的系统时间(即第二播放时间)和帧序号(即第二帧序号),并可以后台获取第一终端设备播放相同帧序号的视频帧的系统时间(即第一播放时间),以根据第一终端设备和第二终端设备播放相同视频帧时的系统时间之间的时间差确定第一终端设备与第二终端设备进行画面同步的同步时延。
示例性的,所述第一视频的每一视频帧中设置有对应的视频标识,所述视频标识中包括帧序号和帧率;
所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,可以包括:
所述第一终端设备根据所述拍摄图像中的视频标识获取所述第二视频帧的第二帧序号和帧率,并获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号,所述同一时刻为所述第二终端设备播放所述第二视频帧的时刻;
所述第一终端设备根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
具体地,所述第一终端设备获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号,可以包括:
所述第一终端设备根据所述第一视频帧中的视频标识获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号。
在该方案提供的同步时延测量方法中,第一终端设备可以根据拍摄图像获取第二终端设备当前播放的视频帧的帧序号(即第二帧序号),并可以后台获取第一终端设备在同一时刻所播放的视频帧的第一帧序号,以根据第一帧序号和第二帧序号,确定同一时刻第一终端设备播放的视频帧与第二终端设备播放的视频帧之间相差的帧数,从而可以根据相差的帧数和第一视频对应的帧率(如帧数*帧率)来确定第一终端设备与第二终端设备进行画面同步的同步时延。
在第一方面的另一种可能的实现方式中,所述第一终端设备获取拍摄图像,可以包括:
所述第一终端设备通过第三终端设备的摄像头获取所述拍摄图像,所述第三终端设备为除所述第一终端设备和所述第二终端设备以外的终端设备,所述拍摄图像中还包括所述第一终端设备当前播放的第一视频帧。
在该方案提供的同步时延测量方法中,可以通过第三终端设备对第一终端设备和第二终端设备当前显示的画面进行拍摄,得到拍摄图像。即拍摄图像中包括第一终端设备的显示界面和第二终端设备的显示界面,以使得可以直接对拍摄图像进行分析,来确定第一终端设备与第二终端设备进行画面同步的同步时延。
示例性的,所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,可以包括:
所述第一终端设备根据所述拍摄图像确定所述第一视频帧的第一播放时间和所述第二视频帧的第二播放时间,所述第一播放时间和所述第二播放时间为视频帧在所述第一视频中的播放时间;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
在该方案提供的同步时延测量方法中,第一终端设备可以直接根据拍摄图像获取第一终端设备的视频播放进度和第二终端设备的视频播放进度,从而可以根据同一时刻,第一终端设备的视频播放进度与第二终端设备的视频播放进度之间的时间差确定第一终端设备与第二终端设备进行画面同步的同步时延。
示例性的,所述第一视频的每一视频帧中设置有对应的视频标识,所述视频标识中包括帧序号和帧率;
所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,可以包括:
所述第一终端设备根据所述拍摄图像中的第一视频标识确定所述第一视频帧的第一帧序号和帧率,并根据所述拍摄图像中的第二视频标识确定所述第二视频帧的第二帧序号;
所述第一终端设备根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
在该方案提供的同步时延测量方法中,第一终端设备可以直接根据拍摄图像获取第一终端设备播放的视频帧的第一帧序号和第二终端设备播放的视频帧的第二帧序号,从而可以根据第一帧序号和第二帧序号确定同一时刻第一终端设备播放的视频帧与第二终端设备播放的视频帧之间相差的帧数,以根据帧数和第一视频对应的帧率来确定第一终端设备与第二终端设备进行画面同步的同步时延。
示例性的,所述拍摄图像包括多张,所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,可以包括:
所述第一终端设备根据第一拍摄图像确定所述第二视频帧的第二播放时间,并根据所述第一拍摄图像中的视频标识确定所述第二视频帧的第二帧序号,所述第一拍摄图像为所述拍摄图像中的任一张;
所述第一终端设备根据所述第二帧序号确定第二拍摄图像,所述第二拍摄图像中包括所述第一终端设备播放所述第二帧序号的视频帧;
所述第一终端设备根据所述第二拍摄图像确定所述第一终端设备播放所述第二帧序号的视频帧的第一播放时间;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延;
其中,所述第一播放时间和所述第二播放时间为所述第一终端设备或者所述第二终端设备的系统时间。
在该方案提供的同步时延测量方法中,可以通过第三终端设备对第一终端设备和第二终端设备当前显示的画面进行录制,得到多张拍摄图像,并可以根据多张拍摄图像获取同一时刻,第一终端设备和第二终端设备播放相同视频帧时的系统时间,以根据系统时间之间的时间差确定同步时延。
可以理解的是,所述第一连接信息可以包括网络类型和网络拓扑结构。视频标识可以为二维码。
第二方面,本申请实施例提供了一种同步时延测量方法,应用于第一终端设备,用于测量视频同步中的同步时延,所述方法可以包括:
所述第一终端设备根据第一连接信息建立所述第一终端设备与第二终端设备之间的网络连接;
所述第一终端设备播放第一视频,并将所述第一视频中的音频和/或视频帧投屏至所述第二终端设备;
所述第一终端设备获取目标音频和/或拍摄图像,并根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延。
通过上述的同步时延测量方法,在视频同步中,可以通过第一终端设备进行第一视频的播放,并将所播放的第一视频中的视频帧和/或音频投屏至第二终端设备。然后可以对第二终端设备的显示画面进行拍摄,和/或对第二终端设备进行音频采集,以根据拍摄图像和/或目标音频来确定视频同步中的同步时延。
在第二方面的一种可能的实现方式中,所述第一视频的每一视频帧均设置有对应的音频,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的视频帧与所述第二终端设备播放的音频同步时,所述目标音频为所述第二终端设备当前播放的音频;
所述第一终端设备根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延,包括:
所述第一终端设备获取所述目标音频的频率,并根据所述目标音频的频率确定与所述目标音频对应的第二视频帧的第二帧序号;
所述第一终端设备获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号,所述同一时刻为所述第二终端设备播放所述目标音频的时刻;
所述第一终端设备根据所述第一帧序号、所述第二帧序号和所述第一视频的帧率确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延。
在该方案提供的同步时延测量方法中,当视频同步为第一终端设备播放的视频帧与第二终端设备播放的音频同步时,可以对第二终端设备播放的音频进行录制,得到目标音频。然后根据目标音频的频率确定目标音频对应的视频帧,并获取同一时刻,第一终端设备播放的视频帧,以根据两视频帧之间相差的帧数和第一视频对应的帧率确定第一终端设备播放的视频帧与第二终端设备播放的音频之间的同步时延。
在第二方面的另一种可能的实现方式中,所述第一视频的每一视频帧均设置有对应的音频,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的视频帧与所述第二终端设备播放的音频同步时,所述目标音频为所述第二终端设备当前播放的音频;
所述第一终端设备根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延,可以包括:
所述第一终端设备获取所述目标音频的频率和所述第二终端设备播放所述目标音频的第二播放时间;
所述第一终端设备根据所述目标音频的频率确定与所述目标音频对应的第二视频帧的第二帧序号,并获取所述第一终端设备播放所述第二帧序号的视频帧的第一播放时间;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延;
其中,所述第一播放时间和所述第二播放时间为所述第一终端设备的系统时间。
在该方案提供的同步时延测量方法中,当视频同步为第一终端设备播放的视频帧与第二终端设备播放的音频同步时,可以对第二终端设备播放的音频进行录制,得到目标音频,并可以获取目标音频对应的播放时间。然后可以根据目标音频的频率确定目标音频对应的视频帧,并获取第一终端设备播放该视频帧的播放时间,以根据两播放时间之间的时间差确定同步时延。
在第二方面的一种可能的实现方式中,所述第一视频的每一视频帧均设置有对应的视频标识和音频,所述视频标识包括帧序号和帧率,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的音频与所述第二终端设备播放的视频帧同步时,所述拍摄图像为所述第二终端设备对应的图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧;
所述第一终端设备根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延,可以包括:
所述第一终端设备根据所述拍摄图像中的视频标识确定所述第二视频帧的第二帧序号和帧率;
所述第一终端设备获取所述第一终端设备在同一时刻播放的第一音频的频率,并确定与所述第一音频的频率对应的第一视频帧的第一帧序号;
所述第一终端设备根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延。
在该方案提供的同步时延测量方法中,当视频同步为第一终端设备播放的音频与第二终端设备播放的视频帧同步时,可以对第二终端设备当前播放的视频帧进行拍摄,得到拍摄图像,并根据拍摄图像获取第二终端设备播放的视频帧的帧序号(即第二帧序号)。然后可以获取同一时刻,第一终端设备播放的目标音频,并可以根据目标音频的频率确定目标音频对应的视频帧的帧序号(即第一帧序号),以根据两视频帧之间相差的帧数和第一视频对应的帧率确定同步时延。
在第二方面的另一种可能的实现方式中,所述第一视频的每一视频帧均设置有对应的视频标识和音频,所述视频标识包括帧序号和帧率,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的音频与所述第二终端设备播放的视频帧同步时,所述拍摄图像为所述第二终端设备对应的图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧;
所述第一终端设备根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延,可以包括:
所述第一终端设备获取所述第二视频帧的第二播放时间,并根据所述拍摄图像中的视频标识确定所述第二视频帧的第二帧序号;
所述第一终端设备确定与所述第二帧序号对应的第二音频,并获取所述第一终端设备播放所述第二音频的第一播放时间;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延。
在该方案提供的同步时延测量方法中,当视频同步为第一终端设备播放的音频与第二终端设备播放的视频帧同步时,可以对第二终端设备当前播放的视频帧进行拍摄,得到拍摄图像,并获取第二终端设备当前播放视频帧的播放时间。然后可以根据拍摄图像获取第二终端设备播放的视频帧的第二帧序号,并获取第一终端设备播放的第二帧序号的视频帧的播放时间,以根据两播放时间之间的时间差确定同步时延。
在第二方面的一种可能的实现方式中,所述第一视频的每一视频帧均设置有对应的视频标识和音频,所述视频标识包括帧序号和帧率,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第二终端设备播放的音频与视频帧同步时,所述目标音频为所述第二终端设备当前播放的音频,所述拍摄图像为所述第二终端设备对应的图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧;
所述第一终端设备根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延,可以包括:
所述第一终端设备根据所述拍摄图像中的视频标识确定所述第二终端设备播放的第二视频帧的第二帧序号和帧率;
所述第一终端设备根据所述目标音频的频率确定与所述目标音频对应的第一视频帧的第一帧序号;
所述第一终端设备根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第二终端设备进行视频同步的同步时延。
在该方案提供的同步时延测量方法中,当视频同步为第二终端设备播放的音频与视频帧同步时,可以对第二终端设备当前播放的视频帧进行拍摄,得到拍摄图像,并可以对第二终端设备当前播放的音频进行录制,得到目标音频。然后可以根据拍摄图像的视频标识确定第二终端设备当前播放的第二视频帧,并可以根据目标音频的频率确定目标音频对应的第一视频帧,以根据第一帧序号和第二帧序号确定第一视频帧和第二视频帧之间相差的帧数,从而可以根据帧数与第一视频对应的帧率确定同步时延。
第三方面,本申请实施例提供了一种同步时延测量方法,应用于测量音频同步中的同步时延,所述方法可以包括:
根据第一连接信息建立第一终端设备与各第二终端设备之间的网络连接;
通过所述第一终端设备分别向各所述第二终端设备投放各第一音频,各所述第一音频相同,且各所述第一音频在相同时间区间通过预设方式进行时间标定;
获取第二音频,所述第二音频包括各所述第二终端设备播放的音频;
根据所述第二音频确定所述相同时间区间在各所述第二终端设备中的播放时间,并根据各所述播放时间确定音频同步中的同步时延。
具体地,各所述第一音频在所述相同时间区间通过频率或者频率组合的方式进行时间标定。
通过上述的同步时延测量方法,在音频同步中,可以通过第一终端设备将各第一音频投放至对应的第二终端设备,并对各第二终端设备播放的音频进行录制,得到第二音频。然后可以根据第二音频确定进行时间标定的时间区间在各第二终端设备中的播放时间,以根据播放时间确定音频同步的同步时延。
第四方面,本申请实施例提供了一种内容同步方法,应用于第一终端设备,所述方法可以包括:
所述第一终端设备确定所述第一终端设备与第二终端设备之间的连接信息;
所述第一终端设备获取共享内容,并根据所述共享内容和所述连接信息确定同步播放的同步时延,所述同步时延通过上述第一方面、第二方面和第三方面中任一项所述的方法得到;
所述第一终端设备向所述第二终端设备发送所述共享内容,并根据所述同步时延控制所述第一终端设备的内容播放,和/或控制所述第二终端设备播放所述共享内容。
通过上述的内容同步方法,在第一终端设备将第一终端设备中的内容共享至第二终端设备进行同步播放时,第一终端设备可以获取共享内容和共享内容对应的第二终端设备,并确定第一终端设备与第二终端设备之间的连接信息。然后可以根据共享内容以及第一终端设备与第二终端设备之间的连接信息确定同步播放的同步时延,从而根据同步时延控制第一终端设备的内容播放,和/或第二终端设备的内容播放,以确保多屏互动中内容播放的同步性,提高内容的播放效果,从而提升用户体验,具有较强的易用性和实用性。
示例性的,所述第一终端设备向所述第二终端设备发送所述共享内容,并根据所述同步时延控制所述第一终端设备的内容播放,和/或控制所述第二终端设备播放所述共享内容,可以包括:
所述第一终端设备向所述第二终端设备发送所述共享内容、所述同步时延和控制指令,所述控制指令用于指示所述第二终端设备根据所述同步时延控制所述共享内容的播放。
示例性的,所述第一终端设备向所述第二终端设备发送所述共享内容,并根据所述同步时延控制所述第一终端设备的内容播放,和/或控制所述第二终端设备播放所述共享内容,可以包括:
所述第一终端设备根据所述同步时延确定所述第二终端设备的播放时间,并在所述播放时间向所述第二终端设备发送所述共享内容。
第五方面,本申请实施例提供了一种同步时延测量装置,应用于第一终端设备,用于测量画面同步中的同步时延,所述装置可以包括:
网络连接建立模块,用于根据第一连接信息建立所述第一终端设备与第二终端设备之间的网络连接;
投屏模块,用于播放第一视频,并将所述第一视频中的视频帧投屏至所述第二终端设备;
图像获取模块,用于获取拍摄图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧,所述第二视频帧为所述第一视频中的视频帧;
同步时延确定模块,用于根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
在第五方面的一种可能的实现方式中,所述图像获取模块,用于通过所述第一终端设备的摄像头获取所述第二终端设备对应的拍摄图像。
示例性的,所述同步时延确定模块,用于根据所述拍摄图像确定所述第二视频帧的第二播放时间;获取所述第一终端设备在同一时刻播放的第一视频帧的第一播放时间,所述第一播放时间和所述第二播放时间为视频帧在所述第一视频中的播放时间,所述同一时刻为所述第二终端设备播放所述第二视频帧的时刻;根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
示例性的,所述第一视频的每一视频帧中设置有对应的视频标识,所述视频标识中包括帧序号;
所述同步时延确定模块,还用于根据所述拍摄图像确定所述第二视频帧的第二播放时间,并根据所述拍摄图像中的视频标识确定所述第二视频帧的第二帧序号;获取所述第一终端设备播放所述第二帧序号的视频帧的第一播放时间;根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延;
其中,所述第一播放时间和所述第二播放时间为所述第一终端设备或者所述第二终端设备的系统时间。
示例性的,所述第一视频的每一视频帧中设置有对应的视频标识,所述视频标识中包括帧序号和帧率;
所述同步时延确定模块,还用于根据所述拍摄图像中的视频标识获取所述第二视频帧的第二帧序号和帧率,并获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号,所述同一时刻为所述第二终端设备播放所述第二视频帧的时刻;根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
具体地,所述同步时延确定模块根据所述第一视频帧中的视频标识获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号。
在第五方面的另一种可能的实现方式中,所述图像获取模块,还用于通过第三终端设备的摄像头获取所述拍摄图像,所述第三终端设备为除所述第一终端设备和所述第二终端设备以外的终端设备,所述拍摄图像中还包括所述第一终端设备当前播放的第一视频帧。
示例性的,所述同步时延确定模块,还用于根据所述拍摄图像确定所述第一视频帧的第一播放时间和所述第二视频帧的第二播放时间,所述第一播放时间和所述第二播放时间为视频帧在所述第一视频中的播放时间;根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
示例性的,所述第一视频的每一视频帧中设置有对应的视频标识,所述视频标识中包括帧序号和帧率;
所述同步时延确定模块,还用于根据所述拍摄图像中的第一视频标识确定所述第一视频帧的第一帧序号和帧率,并根据所述拍摄图像中的第二视频标识确定所述第二视频帧的第二帧序号;根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
示例性的,所述拍摄图像包括多张,所述同步时延确定模块,还用于根据第一拍摄图像确定所述第二视频帧的第二播放时间,并根据所述第一拍摄图像中的视频标识确定所述第二视频帧的第二帧序号,所述第一拍摄图像为所述拍摄图像中的任一张;根据所述第二帧序号确定第二拍摄图像,所述第二拍摄图像中包括所述第一终端设备播放所述第二帧序号的视频帧;根据所述第二拍摄图像确定所述第一终端设备播放所述第二帧序号的视频帧的第一播放时间;根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延;
其中,所述第一播放时间和所述第二播放时间为所述第一终端设备或者所述第二终端设备的系统时间。
可以理解的是,所述第一连接信息可以包括网络类型和网络拓扑结构。视频标识可以为二维码。
第六方面,本申请实施例提供了一种同步时延测量装置,应用于第一终端设备,用于测量视频同步中的同步时延,所述装置可以包括:
网络连接建立模块,用于根据第一连接信息建立所述第一终端设备与第二终端设备之间的网络连接;
投屏模块,用于播放第一视频,并将所述第一视频中的音频和/或视频帧投屏至所述第二终端设备;
同步时延确定模块,用于获取目标音频和/或拍摄图像,并根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延。
在第六方面的一种可能的实现方式中,所述第一视频的每一视频帧中均设置有对应的音频,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的视频帧与所述第二终端设备播放的音频同步时,所述目标音频为所述第二终端设备当前播放的音频;
所述同步时延确定模块,用于获取所述目标音频的频率,并根据所述目标音频的频率确定与所述目标音频对应的第二视频帧的第二帧序号;获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号,所述同一时刻为所述第二终端设备播放所述目标音频的时刻;根据所述第一帧序号、所述第二帧序号和所述第一视频的帧率确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延。
在第六方面的另一种可能的实现方式中,所述第一视频的每一视频帧均设置有对应的音频,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的视频帧与所述第二终端设备播放的音频同步时,所述目标音频为所述第二终端设备当前播放的音频;
所述同步时延确定模块,用于获取所述目标音频的频率和所述第二终端设备播放所述目标音频的第二播放时间;根据所述目标音频的频率确定与所述目标音频对应的第二视频帧的第二帧序号,并获取所述第一终端设备播放所述第二帧序号的视频帧的第一播放时间;根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延;
其中,所述第一播放时间和所述第二播放时间为所述第一终端设备的系统时间。
在第六方面的一种可能的实现方式中,所述第一视频的每一视频帧均设置有对应的视频标识和音频,所述视频标识包括帧序号和帧率,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的音频与所述第二终端设备播放的视频帧同步时,所述拍摄图像为所述第二终端设备对应的图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧;
所述同步时延确定模块,用于根据所述拍摄图像中的视频标识确定所述第二视频帧的第二帧序号和帧率;获取所述第一终端设备在同一时刻播放的第一音频的频率,并确定与所述第一音频的频率对应的第一视频帧的第一帧序号;根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延。
在第六方面的另一种可能的实现方式中,所述第一视频的每一视频帧均设置有对应的视频标识和音频,所述视频标识包括帧序号和帧率,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的音频与所述第二终端设备播放的视频帧同步时,所述拍摄图像为所述第二终端设备对应的图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧;
所述同步时延确定模块,用于获取所述第二视频帧的第二播放时间,并根据所述拍摄图像中的视频标识确定所述第二视频帧的第二帧序号;确定与所述第二帧序号对应的第二音频,并获取所述第一终端设备播放所述第二音频的第一播放时间;根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延。
在第六方面的一种可能的实现方式中,所述第一视频的每一视频帧均设置有对应的视频标识和音频,所述视频标识包括帧序号和帧率,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第二终端设备播放的音频与视频帧同步时,所述目标音频为所述第二终端设备当前播放的音频,所述拍摄图像为所述第二终端设备对应的图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧;
所述同步时延确定模块,用于根据所述拍摄图像中的视频标识确定所述第二终端设备播放的第二视频帧的第二帧序号和帧率;根据所述目标音频的频率确定与所述目标音频对应的第一视频帧的第一帧序号;根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第二终端设备进行视频同步的同步时延。
第七方面,本申请实施例提供了一种同步时延测量装置,应用于测量音频同步中的同步时延,所述装置可以包括:
网络连接建立模块,用于根据第一连接信息建立第一终端设备与各第二终端设备之间的网络连接;
投放模块,用于通过所述第一终端设备分别向各所述第二终端设备投放各第一音频,各所述第一音频相同,且各所述第一音频在相同时间区间通过预设方式进行时间标定;
第二音频获取模块,用于获取第二音频,所述第二音频包括各所述第二终端设备播放的音频;
同步时延确定模块,用于根据所述第二音频确定所述相同时间区间在各所述第二终端设备中的播放时间,并根据各所述播放时间确定音频同步中的同步时延。
具体地,各所述第一音频在所述相同时间区间通过频率或者频率组合的方式进行时间标定。
第八方面,本申请实施例提供了一种内容同步装置,应用于第一终端设备,所述装置可以包括:
连接信息确定模块,用于确定所述第一终端设备与第二终端设备之间的连接信息;
同步时延确定模块,用于获取共享内容,并根据所述共享内容和所述连接信息确定同步播放的同步时延,所述同步时延通过上述第一方面、第二方面和第三方面中任一项所述的方法得到;
播放控制模块,用于向所述第二终端设备发送所述共享内容,并根据所述同步时延控制所述第一终端设备的内容播放,和/或控制所述第二终端设备播放所述共享内容。
示例性的,所述播放控制模块,用于向所述第二终端设备发送所述共享内容、所述同步时延和控制指令,所述控制指令用于指示所述第二终端设备根据所述同步时延控制所述共享内容的播放。
示例性的,所述播放控制模块,用于根据所述同步时延确定所述第二终端设备的播放时间,并在所述播放时间向所述第二终端设备发送所述共享内容。
第九方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使所述终端设备实现上述第一方面、第二方面、第三方面和第四方面中任一项所述的方法。
第十方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被计算机执行时,使所述计算机实现上述第一方面、第二方面、第三方面和第四方面中任一项所述的方法。
第十一方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面、第二方面、第三方面和第四方面中任一项所述的方法。
附图说明
图1是本申请一实施例提供的同步时延测量方法或者内容同步方法所适用于的终端设备的结构示意图;
图2是本申请一实施例提供的同步时延测量方法或者内容同步方法所适用于的软件架构示意图;
图3是本申请一实施例提供的通信系统的系统示意图;
图4是本申请一实施例提供的进行画面投屏的应用场景示意图;
图5是本申请一实施例提供的进行视频中的画面和音频同时投屏的应用场景示意图;
图6是本申请一实施例提供的进行音频投放的应用场景示意图;
图7和图8是本申请一实施例提供的启动内容同步功能的示例图;
图9和图10是本申请一实施例提供的进行同步时延测量的应用场景示意图;
图11是本申请另一实施例提供的进行同步时延测量的应用场景示意图;
图12至图14是本申请一实施例提供的同步时延测量方法的流程示意图;
图15是本申请一实施例提供的内容同步方法的流程示意图。
具体实施方式
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
此外,本申请实施例中提到的“多个”应当被解释为两个或两个以上。
本申请实施例中提供的同步时延测量方法和内容同步方法中所涉及到的步骤仅仅作为示例,并非所有的步骤均是必须执行的步骤,或者并非各个信息或消息中的内容均是必选的,在使用过程中可以根据需要酌情增加或减少。本申请实施例中同一个步骤或者具有相同功能的步骤或者消息在不同实施例之间可以互相参考借鉴。
本申请实施例描述的业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
目前,终端设备可以通过多屏互动进行内容共享,实现内容的同步播放,以方便用户浏览或者提高内容的播放效果。其中,多屏互动可以是画面投屏,例如第一终端设备(如手机)可以将手机显示的画面投屏至一个或者多个第二终端设备(如平板电脑)进行显示,以实现手机与平板电脑之间的画面共享,从而方便用户浏览。多屏互动也可以是音频和画面的投屏,即视频投屏,例如第一终端设备(如手机)可以将视频中的音频和画面均投屏至第二终端设备(如智能电视)进行播放,以提高视频的播放效果,从而方便用户浏览。多屏互动还可以是仅音频投放,例如第一终端设备(如手机)可以将视频中的音频投放至第二终端设备(如智能音箱)进行播放,以通过手机与智能音箱协同进行视频的播放,提高视频的播放效果。例如第一终端设备(如手机)可以将音频投放至不同的多个第二终端设备(如智能音箱)进行播放,以通过多个智能音箱进行音频的同步播放来形成立体声,从而提高音频的播放效果。
在进行多屏互动时,第一终端设备需要通过蓝牙或者无线保真(wirelessfidelity,WiFi)等通信网络将共享内容传输至第二终端设备,或者第一终端设备需要先对共享内容进行编码,然后通过蓝牙或者WiFi等通信网络将编码后的共享内容传输至第二终端设备。第二终端设备接收到共享内容后,需要进行解码后再播放。而由于编码、传输或者解码等操作容易产生时延,当共享内容为动态的内容(即内容会随时间而变化)时,容易造成内容共享或者协同播放中内容的不同步,影响用户体验。
例如,在手机通过Miracast等投屏技术将手机播放视频中的画面投屏至一个或者多个平板电脑中进行同步显示时,手机需要对视频中的画面进行编码,例如将视频中的画面编码成H.264格式数据,再通过蓝牙或者WiFi等通信网络将H.264格式数据发送至平板电脑。平板电脑接收到手机传输过来的H.264格式数据后,需要对H.264格式数据进行解码,然后将解码得到的画面显示在平板电脑中。由于编码、传输或者解码等操作容易产生时延,因此,平板电脑播放的画面与手机播放的画面之间会存在时间差,从而造成平板电脑播放的画面与手机播放的画面不同步,影响用户体验。
例如,在手机通过Miracast等投屏技术将手机所播放视频中的音频投放至智能音箱进行播放,以通过手机与智能音箱进行视频的协同播放时,手机需要对视频中的音频进行编码,例如将视频中的音频编码成AAC格式数据,再通过蓝牙或者WiFi等通信网络将AAC格式数据传输至智能音箱。智能音箱接收到手机传输过来的AAC格式数据后,需要对AAC格式数据进行解码,然后对解码得到的音频进行播放。由于编码、传输或者解码等操作容易产生时延,因此,智能音箱播放的音频与手机播放的画面之间会存在时间差,从而造成智能音箱播放的音频与手机播放的画面不同步,例如,可能造成智能音箱播放的音频滞后于手机播放的画面,影响视频的协同播放效果,影响用户体验。
例如,在手机通过Miracast等投屏技术将视频投屏至智能电视进行播放,以通过大屏的终端设备进行视频播放,提高视频的播放效果时,手机需要对视频中的音频和画面分别进行编码,例如将视频中的画面编码成H.264格式数据,并将视频中的音频编码成AAC格式数据,再通过蓝牙或者WiFi等通信网络将H.264格式数据和AAC格式数据发送至智能电视。智能电视接收到手机传输过来的H.264格式数据和AAC格式数据后,需要对H.264格式数据和AAC格式数据分别进行解码,然后对解码得到的音频和画面进行播放。由于智能电视进行音频解码的速度和进行画面解码的速度可能不相同,使得智能电视播放的音频与画面之间会存在时间差,从而造成智能电视播放的音频与画面不同步,影响智能电视的视频播放效果,影响用户体验。
例如,在手机通过Miracast等投屏技术将视频中的画面投屏至智能电视进行播放,同时将视频中的音频投放至智能音箱进行播放,以通过大屏的终端设备和智能音箱进行视频的协同播放,提高视频的播放效果时,手机需要对视频中的音频和画面分别进行编码,例如将视频中的画面编码成H.264格式数据,并将视频中的音频编码成AAC格式数据,再通过蓝牙或者WiFi等通信网络将H.264格式数据发送至智能电视,并通过蓝牙或者WiFi等通信网络将AAC格式数据发送至智能音箱。智能电视接收到手机传输过来的H.264格式数据后,需要对H.264格式数据进行解码,然后对解码得到的画面进行显示。智能音箱接收到手机传输过来的AAC格式数据后,需要对AAC格式数据进行解码,然后对解码得到的音频进行播放。由于智能音箱进行音频解码的速度与智能电视进行画面解码的速度可能不相同,和/或由于手机与智能电视之间的传输速度可能不同于手机与智能音箱之间的传输速度,使得智能电视播放的画面与智能音箱播放的音频之间会存在时间差,从而造成智能电视与智能音箱进行视频协同播放时的音频与画面不同步,影响用户体验。
例如,在手机通过蓝牙或者WiFi等通信网络将音频投放至不同的多个智能音箱进行播放,以通过多个智能音箱进行音频的同步播放来形成立体声时,由于手机与不同智能音箱之间的网络连接可能不同,使得各个智能音箱基于传输造成的时延也不相同,因此,各个智能音箱播放的音频之间会存在时间差,从而影响多个智能音箱进行音频同步播放的立体声效果,影响用户体验。
为解决上述问题,本申请实施例提供了一种同步时延测量方法和内容同步方法,可以准确测量第一终端设备与第二终端设备处于某一网络连接时,画面同步中的同步时延、视频同步中的同步时延以及音频同步中的同步时延,从而使得第一终端设备在将内容共享至第二终端设备进行同步播放时,可以获取共享内容和共享内容对应的第二终端设备,并确定第一终端设备与第二终端设备之间的连接信息,然后可以根据共享内容以及第一终端设备与第二终端设备之间的连接信息确定同步播放的同步时延,从而根据同步时延控制第一终端设备的内容播放,和/或第二终端设备的内容播放,以确保多屏互动中内容播放的同步性,提高内容的播放效果,从而提升用户体验,具有较强的易用性和实用性。
本申请实施例提供的同步时延测量方法和内容同步方法可以应用于终端设备,终端设备可以为手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、桌上型计算机、智能电视、智能音箱等,本申请实施例对终端设备的具体类型不作任何限制。
示例性的,图1示出了一种终端设备100的结构示意图。终端设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中,终端设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现终端设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现终端设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现终端设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为终端设备100充电,也可以用于终端设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他终端设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端设备100的结构限定。在本申请另一些实施例中,终端设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
终端设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,终端设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
终端设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,终端设备100可以包括1个或N个显示屏194,N为大于1的正整数。
终端设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,终端设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样,终端设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行终端设备100的各种功能应用以及数据处理。
终端设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。终端设备100可以设置至少一个麦克风170C。在另一些实施例中,终端设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。终端设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,终端设备100根据压力传感器180A检测所述触摸操作强度。终端设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定终端设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定终端设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测终端设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消终端设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,终端设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。终端设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当终端设备100是翻盖机时,终端设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测终端设备100在各个方向上(一般为三轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。终端设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,终端设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定终端设备100附近有物体。当检测到不充分的反射光时,终端设备100可以确定终端设备100附近没有物体。终端设备100可以利用接近光传感器180G检测用户手持终端设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。终端设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测终端设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,终端设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,终端设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,终端设备100对电池142加热,以避免低温导致终端设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,终端设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于终端设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入,产生与终端设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和终端设备100的接触和分离。终端设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在终端设备100中,不能和终端设备100分离。
终端设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明终端设备100的软件结构。
图2是本申请实施例的终端设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供终端设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合捕获拍照场景,示例性说明终端设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
以下将结合附图和具体应用场景对本申请实施例提供的内容同步方法进行详细说明。
图3是本申请实施例提供的一种通信系统的示意图。如图3所示,本申请实施例提供的内容同步方法可以应用于通信系统300,通信系统300中可以包括第一终端设备301以及至少一个第二终端设备302(图3中示出一个)。第一终端设备301可以通过通信网络与第二终端设备302连接。通信网络可以是蓝牙、WiFi、紫蜂(ZigBee)或者NFC等局域网,也可以是2G、3G、4G、5G、未来演进的公共陆地移动网络(public land mobile network,PLMN)或者因特网等广域网。
其中,第一终端设备301是指进行内容共享的终端设备。示例性的,第一终端设备301可以为手机、平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、UMPC、上网本、PDA、桌上型计算机等终端设备。第二终端设备302是指可以接收第一终端设备301共享的内容的终端设备。示例性的,第二终端设备302可以为手机、平板电脑、可穿戴设备、车载设备、AR/VR设备、笔记本电脑、UMPC、上网本、PDA、桌上型计算机、智能电视、智能音箱等终端设备。
在第一终端设备301通过通信网络与第二终端设备302建立连接后,第一终端设备301可以将第一终端设备301的内容共享至第二终端设备302进行播放。其中,在进行内容共享时,由于需要进行内容的编码、传输或者解码等操作,而编码、传输或者解码等操作容易产生时延,影响内容播放的同步性,影响用户体验。
本申请实施例中,在第一终端设备301将内容共享至第二终端设备302进行播放时,第一终端设备301可以先获取共享内容以及共享内容对应的第二终端设备。然后,第一终端设备可以确定第一终端设备301与第二终端设备302之间的连接信息,并可以根据共享内容以及第一终端设备301与第二终端设备302之间的连接信息确定同步播放的同步时延,从而根据同步时延控制第一终端设备301的内容播放,和/或控制第二终端设备302的内容播放,以确保内容播放的同步性,提升用户体验。
其中,同步播放可以是两个或者两个以上的终端设备所播放的画面之间的同步,也可以是两个或者两个以上的终端设备所播放的音频之间的同步,还可以是一个或者多个终端设备协同播放同一视频时,视频中的画面与音频之间的同步。因此,共享内容可以是画面和/或音频。
在一个示例中,共享内容可以是第一终端设备301正在播放的全部或者部分内容,例如,当第一终端设备301正在播放视频时,共享内容可以为视频中的画面和音频,或者可以为视频中的画面或者音频。在另一个示例中,共享内容可以是第一终端设备301存储的内容,即第一终端设备301可以直接将存储于第一终端设备301,但未在第一终端设备301中播放的内容共享至一个或者多个第二终端设备302进行同步播放。例如,第一终端设备301可以直接将第一终端设备301中存储的音频分别投送至智能音箱A、智能音箱B和智能音箱C进行播放。
可以理解的是,共享内容对应的第二终端设备302可以包括一个或者多个。例如,当第一终端设备301将第一终端设备301所播放视频中的画面和音频均投屏至智能电视进行播放时,共享内容则可以包括画面和音频两部分,共享内容对应的第二终端设备可以仅包括智能电视,即视频中的画面和音频对应的第二终端设备均为智能电视。例如,当第一终端设备301将第一终端设备301所播放视频中的画面投屏至智能电视进行播放,并将视频中的音频投放至智能音箱进行播放时,共享内容则可以包括画面和音频两部分,共享内容对应的第二终端设备可以包括智能电视和智能音箱两个,即视频中的画面对应的第二终端设备为智能电视,视频中的音频对应的第二终端设备为智能音箱。例如,当第一终端设备301将第一终端设备301存储的音频投放至智能音箱A和智能音箱B进行播放时,共享内容则可以包括音频,共享内容对应的第二终端设备可以包括智能音箱A和智能音箱B。
本申请实施例中,连接信息可以包括第一终端设备301与第二终端设备302之间所连接网络的网络类型和网络拓扑结构。网络类型可以包括蓝牙、WiFi、ZigBee等网络类型。网络拓扑结构用于表征第一终端设备301与第二终端设备302之间所连接网络的连接方式。例如,当第一终端设备301与第二终端设备302之间为WiFi直连时,第一终端设备301与第二终端设备302之间的网络拓扑结构可以为第一终端设备301→第二终端设备302。例如,当第一终端设备301通过一个或者多个路由节点与第二终端设备302连接时,如通过路由节点A和路由节点B与第二终端设备302连接时,第一终端设备301与第二终端设备302之间的网络拓扑结构可以为第一终端设备301→路由节点A→路由节点B→第二终端设备302。
需要说明的是,同步播放的同步时延可以是第二终端设备播放的共享内容滞后于第一终端设备播放的内容的时间,或者可以是第二终端设备播放的某一共享内容滞后于第二终端设备播放的另一共享内容的时间,或者可以是某一第二终端设备播放的共享内容滞后于另一第二终端设备播放的共享内容的时间。
例如,在第一终端设备(如手机)将手机正在播放的画面投屏至第二终端设备(如平板电脑)进行播放,以实现手机与平板电脑之间的画面同步时,由于编码、传输或者解码等操作,平板电脑播放的画面会滞后于手机播放的画面,此时同步播放的同步时延可以为平板电脑播放的画面滞后于手机播放的画面的时间。
例如,在第一终端设备(如手机)将手机存储的音频投送至第二终端设备(如智能音箱A、智能音箱B以及智能音箱C)进行播放,以实现智能音箱A、智能音箱B以及智能音箱C之间的音频同步播放时,智能音箱A、智能音箱B以及智能音箱C播放的音频之间会存在时间差,假设,智能音箱C播放的音频和智能音箱B播放的音频均滞后于智能音箱A播放的音频,此时同步播放的同步时延可以包括第一同步时延和第二同步时延,第一同步时延可以为智能音箱B播放的音频滞后于智能音箱A播放的音频的时间,第二同步时延可以为智能音箱C播放的音频滞后于智能音箱A播放的音频的时间。
例如,在第一终端设备(如手机)将手机播放视频中的画面和音频均投屏至第二终端设备(如智能电视)进行播放时,智能电视播放的画面与音频之间会存在时间差,假设,智能电视播放的音频滞后于智能电视播放的画面,此时同步播放的同步时延可以为智能电视播放的音频滞后于智能电视播放的画面的时间。
本申请实施例中,第一终端设备301获取同步播放的同步时延后,可以根据同步时延给第一终端设备301播放的内容增加预设时间的延迟或者控制第一终端设备301当前播放的内容进行预设时间的重复播放,和/或可以给第二终端设备302播放的内容增加预设时间的延迟或者控制第二终端设备302当前播放的内容进行预设时间的重复播放,以实现内容同步。其中,预设时间可以根据同步时延确定。示例性的,当同步时延仅包括一个时,可以直接将同步时延确定为预设时间;当同步时延包括多个时,可以以最大的同步时延为基准时延,然后根据各同步时延和基准时延确定各预设时间。
请参阅图4,图4为本申请实施例提供的进行画面投屏的应用场景示意图。如图4中的(a)所示,在第一终端设备(如手机)将手机正在播放的画面投屏至第二终端设备(如平板电脑)进行同步播放时,投屏的画面需经过编码、传输等操作后到达平板电脑,并经平板电脑的解码后进行播放,此时平板电脑播放的画面会滞后于手机播放的画面。因此,为确保平板电脑播放的画面与手机播放的画面同步,手机可以根据手机与平板电脑之间的连接信息以及共享内容(即画面)获取手机与平板电脑同步播放画面时的同步时延T1。然后,手机可以根据同步时延T1给手机播放的画面增加T1的延迟或者将手机当前播放的画面重复播放T1时间,使得平板电脑播放的画面与手机播放的画面实现如图4中的(b)所示的同步。其中,重复播放T1时间是指在该画面原本播放时间的基础上,再增加T1时间的播放,即使得该画面的播放时间为(原本播放时间+T1)。
请参阅图5,图5为本申请实施例提供的进行视频中的画面和音频同时投屏的应用场景示意图。如图5中的(a)所示,在第一终端设备(如手机)将手机正在播放视频中的音频和画面均投屏至第二终端设备(如智能电视)进行播放时,视频中的音频经过音频编码、传输等操作到达智能电视,并经智能电视进行音频解码后播放;同时视频中的画面经过画面编码、传输等操作到达智能电视,并经智能电视进行画面解码后播放,此时智能电视播放的画面与音频之间会出现不同步的情况,例如智能电视播放的画面滞后于智能电视播放的音频,或者智能电视播放的音频滞后于智能电视播放的画面。因此,为确保智能电视播放的音频与智能电视播放的画面同步,手机可以根据手机与智能电视之间的连接信息、共享内容(即音频和画面)获取智能电视播放视频中的音频与画面的同步时延T2。然后,手机可以根据T2控制智能电视的画面播放,或者控制智能电视的音频播放,使得智能电视播放的画面与智能电视播放的音频实现如图5中的(b)所示的同步。其中,图5中的黑色方框可以表示画面帧,白色方框可以表示与画面帧对应的音频,或者白色方框可以表示画面帧,黑色方框可以表示与画面帧对应的音频。
具体地,当T2为智能电视播放的音频滞后于智能电视播放的画面的时间时,手机可以根据T2控制智能电视的画面播放,使得智能电视播放的音频与智能电视播放的画面同步。示例性的,手机可以向智能电视发送控制指令,控制指令用于指示智能电视给智能电视播放的画面增加T2的延迟或者将智能电视当前播放的画面重复T2的播放。其中,当前播放的画面可以是指智能电视接收到控制指令时,智能电视正在播放的画面。示例性的,手机在向智能电视发送视频中的画面和音频时,可以先向智能电视发送视频中的音频,然后间隔T2再向智能电视发送视频中的画面。
类似的,当T2为智能电视播放的画面滞后于智能电视播放的音频的时间时,手机可以根据T2控制智能电视的音频播放。示例性的,手机可以向智能电视发送控制指令,控制指令用于指示智能电视给智能电视播放的音频增加T2的延迟或者将智能电视当前播放的音频重复播放T2时间。示例性的,手机在向智能电视发送视频中的画面和音频时,可以先向智能电视发送视频中的画面,然后可间隔T2再向智能电视发送视频中的音频。
请参阅图6,图6为本申请实施例提供的进行音频投放的应用场景示意图。如图6中的(a)所示,在第一终端设备(如手机)将手机存储的音频投放至第二终端设备(如智能音箱A、智能音箱B、智能音箱C)进行同步播放时,智能音箱A、智能音箱B以及智能音箱C播放的音频会存在时间差,此时,手机可以根据手机与智能音箱A之间的连接信息、手机与智能音箱B之间的连接信息、手机与智能音箱C之间的连接信息以及共享内容(即音频)获取同步播放的同步时延。假设智能音箱B和智能音箱C播放的音频均滞后于智能音箱A播放的音频,则同步时延可以包括第一同步时延T3和第二同步时延T4,T3可以为智能音箱B播放的音频滞后于智能音箱A播放的音频的时间,T4可以为智能音箱C播放的音频滞后于智能音箱A播放的音频的时间。然后,手机可以根据同步时延T3和T4控制智能音箱A和智能音箱B的音频播放,或者控制智能音箱A和智能音箱C的音频播放,使得智能音箱A播放的音频、智能音箱B播放的音频以及智能音箱C播放的音频实现如图6中的(b)所示的同步。
具体地,当T4>T3时,表明智能音箱C的时延>智能音箱B的时延>智能音箱A的时延,此时要确保智能音箱A、智能音箱B以及智能音箱C之间的音频同步,则可以以智能音箱C为基准,给智能音箱A和智能音箱B的音频播放增加时延。因此,手机可以根据T3和T4控制智能音箱A和智能音箱B的音频播放,即可以给智能音箱A播放的音频增加第一预设时间的延迟,或者控制智能音箱A当前播放的音频重复第一预设时间的播放,并给智能音箱B播放的音频增加第二预设时间的延迟或者控制智能音箱B当前播放的音频重复第二预设时间的播放。其中,第一预设时间可以为T4,第二预设时间可以为(T4-T3)。例如,在向智能音箱A、智能音箱B以及智能音箱C发送音频时,手机可以先向智能音箱C发送音频,然后间隔(T4-T3)向智能音箱B发送音频,以及间隔T4向智能音箱A发送音频。例如,在向智能音箱A、智能音箱B以及智能音箱C同时发送音频时,手机还可以给智能音箱A发送第一控制指令,给智能音箱B发送第二控制指令,其中,第一控制指令用于指示智能音箱A给智能音箱A播放的音频增加T4的延迟,或者将智能音箱A当前播放的音频重复播放T4时间。第二控制指令用于指示智能音箱B给智能音箱B播放的音频增加(T4-T3)的延迟,或者将智能音箱B当前播放的音频播放重复(T4-T3)时间。当前播放的音频可以是指接收到控制指令时,智能音箱A/智能音箱B正在播放的音频。
类似的,当T3>T4时,表明智能音箱B的时延>智能音箱C的时延>智能音箱A的时延,此时要确保智能音箱A、智能音箱B以及智能音箱C之间的音频同步,则可以以智能音箱B为基准,给智能音箱A和智能音箱C的音频播放增加时延。因此,手机可以根据T3和T4控制智能音箱A和智能音箱C的音频播放,即可以给智能音箱A播放的音频增加第一预设时间的延迟,或者控制智能音箱A当前播放的音频重复第一预设时间的播放,并给智能音箱C播放的音频增加第二预设时间的延迟或者控制智能音箱C当前播放的音频重复第二预设时间的播放,使得智能音箱A播放的音频、智能音箱B播放的音频以及智能音箱C播放的音频实现同步。此时,第一预设时间可以为T3,第二预设时间可以为(T3-T4)。
可以理解的是,在同步类型为多个第二终端设备之间的音频同步时,第一终端设备301还可以获取第一终端设备301与各第二终端设备之间的相对位置,并可以根据相对位置获取音频增益,从而可以根据音频增益逐渐调整各第二终端设备的增益,以确保多个第二终端设备进行音频同步播放的音量均衡,提高音频的立体播放效果,提升用户体验。
本申请实施例中,内容同步可以为多屏互动中的一个可选功能。示例性的,在进行多屏互动时,第一终端设备301可以根据具体场景来确定是否采用本申请实施例提供的内容同步方法来进行内容的同步播放。
具体地,在进行多屏互动时,第一终端设备301可以获取投共享内容,并可以根据共享内容来确定是否采用本申请实施例提供的内容同步方法来进行内容的同步播放。其中,当共享内容为动态的内容时,第一终端设备301可以采用本申请实施例提供的内容同步方法进行内容的同步播放。当共享内容为静态的内容时,第一终端设备301则可以不采用本申请实施例提供的内容同步方法来进行内容的同步播放。
示例性的,第一终端设备301中也可以事先设置与本申请实施例提供的内容同步方法对应的内容同步功能供用户选择。在多屏互动中,若用户选择启动该内容同步功能,则第一终端设备301可以根据本申请实施例提供的内容同步方法进行内容的同步播放。
请参阅图7和图8,图7和图8示出了启动内容同步功能的示例图。如图7中的(a)所示,在第一终端设备301播放内容时,第一终端设备301的显示界面中可以显示有投屏按钮701。当用户点击投屏按钮701时,如图7中的(b)所示,显示界面中可以弹出投屏窗口702,投屏窗口702中可以显示“普通投屏”按钮和“同步投屏”按钮。“普通投屏”按钮用于将第一终端设备301播放的内容投屏至第二终端设备302进行播放,但不用确保第二终端设备302播放的内容是否与第一终端设备301播放的内容同步。“同步投屏”按钮用于将第一终端设备301播放的内容投屏至第二终端设备302进行同步播放,即需要使得第二终端设备302播放的内容与第一终端设备301播放的内容同步。
当用户点击或者触摸“同步投屏”按钮时,如图7中的(c)所示,第一终端设备301的显示界面中可以弹出选择窗口703,选择窗口703中可以显示共享内容、可以接收共享内容的第二终端设备以及“确认”按钮和“取消”按钮。用户可以根据需要选择共享内容以及选择接收共享内容的第二终端设备。在用户选择完共享内容以及第二终端设备后,例如,在用户选择将画面投屏至终端A后,用户可以点击或者触摸“确认”按钮。第一终端设备301检测到“确认”按钮被点击或者触摸后,可以将共享内容(即画面)发送至用户所选择的第二终端设备(即终端A),同时,第一终端设备301可以根据共享内容以及第一终端设备301与第二终端设备之间的连接信息获取同步播放的同步时延,并可以根据同步时延控制第一终端设备301的内容播放,和/或控制第二终端设备的内容播放,实现内容同步。
或者,当用户基于普通投屏,将共享内容投屏至用户所选择的第二终端设备302后,如图8中的(a)所示,第一终端设备301的显示界面中可以弹出内容同步窗口801,该内容同步窗口801中可以显示“是否进行内容同步?”,以及“同步”按钮和“跳过”按钮。当用户点击或者触摸“同步”按钮时,第一终端设备301则可以根据共享内容以及第一终端设备301与第二终端设备302之间的连接信息获取同步播放的同步时延,从而可以根据同步时延控制第一终端设备301的内容播放,和/或控制第二终端设备302的内容播放,以实现内容同步。
或者,当用户基于普通投屏,将共享内容投屏至用户所选择的第二终端设备302后,如图8中的(b)所示,第一终端设备301的显示界面中也可以直接显示“内容同步”按钮802。当用户点击或者触摸“内容同步”按钮802时,第一终端设备301可以根据共享内容以及第一终端设备301与第二终端设备302之间的连接信息获取同步播放的同步时延,从而可以根据同步时延控制第一终端设备301的内容播放,和/或控制第二终端设备302的内容播放,以实现内容同步。
可以理解的是,对于具有显示功能的第二终端设备,用户也可以在任一第二终端设备302中开启内容同步功能。即在第一终端设备301基于普通投屏将内容投屏至第二终端设备302后,如图8中的(c)所示,第二终端设备302的显示界面中也可以弹出内容同步窗口,或者如图8中的(d)所示,第二终端设备302的显示界面中可以显示“内容同步”按钮,以供用户开启内容同步功能。当用户在第二终端设备302中开启内容同步功能时,第二终端设备302则可以向第一终端设备301发送同步指令。第一终端设备301接收到第二终端设备302的同步指令后,可以根据共享内容以及第一终端设备301与第二终端设备302之间的连接信息获取同步播放的同步时延,从而可以根据同步时延控制第一终端设备302的内容播放,和/或控制第二终端设备302的内容播放,以实现内容同步。
本申请实施例,第一终端设备301在根据共享内容以及第一终端设备与第二终端设备之间的连接信息获取同步播放的同步时延时,可以根据预设对应关系来获取同步时延。预设对应关系可以存储于第一终端设备301或者可以存储于与第一终端设备301通信连接的第三方存储装置。其中,预设对应关系是指同步时延与共享内容以及第一终端设备与第二终端设备之间的连接信息之间的对应关系。
需要说明的是,预设对应关系可以根据事先测量得到的同步时延建立。具体地,可以通过测试数据来进行同步时延的测量,并根据测量得到的同步时延来进行预设对应关系的建立。以下将结合应用场景对同步时延的测量进行详细说明。
一、画面同步时,同步时延的测量
在画面同步中,测试数据可以为经过特殊设计的第一视频,该第一视频的每一视频帧中均设置有对应的视频标识,以通过视频标识标定该视频帧所对应的帧序号、帧率等视频信息。或者,通过视频标识标定该视频帧所对应的帧序号、帧率等视频信息,以及播放该视频帧的终端设备的设备标识。其中,视频标识可以是二维码或者其他数据编码,且视频标识可以事先设置,也可以实时生成。例如,第一终端设备在将该第一视频投屏至第二终端设备进行播放之前,可以获取第二终端设备的设备标识,根据设备标识以及各视频帧对应的帧序号、帧率等视频信息分别生成各视频帧对应的视频标识,并将各视频标识添加至对应的视频帧中。以下将以视频标识为二维码为例进行示例性说明。
在一个示例中,同步时延的测量可以由第一终端设备301执行。请参阅图9,图9示出了通过第一终端设备301进行同步时延测量的应用场景示意图。具体地,在第一终端设备301根据第一连接信息建立与第二终端设备302之间的网络连接后,用户可以在第一终端设备301或者第二终端设备302中启动画面同步测量,此时,第一终端设备301可以播放第一视频,并可以将所播放的第一视频中的视频帧投屏至第二终端设备302进行显示。在第二终端设备302对第一终端设备301投屏过来的视频帧进行显示时,第一终端设备301可以启动第一终端设备301的摄像头,以通过摄像头对第二终端设备302当前显示的第二视频帧进行拍摄,得到包含第二视频帧的拍摄图像。同时,第一终端设备301还可以获取同一时刻,第一终端设备301当前所显示的第一视频帧,例如,第一终端设备301可以后台获取同一时刻第一终端设备301当前所显示的第一视频帧。其中,同一时刻是指在通过摄像头对第二终端设备302所显示的第二视频帧进行拍摄得到拍摄图像的时刻,即第二终端设备302播放第二视频帧的时刻。然后,第一终端设备301可以根据拍摄图像和第一视频帧,确定第一终端设备301与第二终端设备302进行画面同步的同步时延。其中,第一连接信息包括网络类型和网络拓扑结构。
示例性的,第一终端设备301可以对拍摄图像中的二维码进行分析,得到第二视频帧对应的第二帧序号和该第一视频对应的帧率。其中,拍摄图像中的二维码是指第二视频帧中的二维码。同时,第一终端设备301可以直接后台获取第一视频帧对应的第一帧序号,或者可以通过对第一视频帧中的二维码进行分析,得到第一视频帧对应的第一帧序号。然后,第一终端设备301可以根据第一帧序号和第二帧序号,确定同一时刻第一终端设备301所显示的第一视频帧与第二终端设备302所显示的第二视频帧之间所相差的帧数,并可以根据相差的帧数与该第一视频对应的帧率,得到第一终端设备301与第二终端设备302进行画面同步的同步时延。例如,可以根据帧数*帧率得到第一终端设备301与第二终端设备302进行画面同步的同步时延。
或者,第一终端设备301可以通过摄像头对第二终端设备302所播放的第二视频帧进行拍摄,得到包含第二视频帧的拍摄图像,同时可以获取第二视频帧对应的第二播放时间。示例性的,第二播放时间和后续的第一播放时间可以为系统时间,即第一终端设备301可以将第一终端设备301拍摄得到拍摄图像时的系统时间确定为第二视频帧对应的第二播放时间。然后,第一终端设备301可以对拍摄图像中的二维码进行分析,得到第二视频帧对应的第二帧序号,并后台获取第一终端设备301播放该第二帧序号的视频帧的第一播放时间,即获取第一终端设备301播放该第二帧序号的视频帧时的系统时间。最后,第一终端设备301可以根据第一播放时间和第二播放时间之间的时间差,确定第一终端设备301与第二终端设备302进行画面同步的同步时延。
其中,第一终端设备301在播放该第一视频中的各视频帧时,可以记录并保存各视频帧对应的系统时间。因此,在确定第二视频帧对应的第二帧序号后,第一终端设备301可以直接获取第一终端设备301播放第二帧序号的视频帧时的系统时间,即获取第一终端设备301播放该第二帧序号的视频帧的第一播放时间。或者,在确定第二视频帧对应的第二帧序号后,第一终端设备301可以根据第一终端设备301开始播放该第一视频的系统时间和第二帧序号的视频帧在该第一视频中的播放时间,确定在第一终端设备301播放该第二帧序号的视频帧的第一播放时间。例如,当第一终端设备301播放该第一视频的起始时间为8:30:00,且第二帧序号的视频帧在该第一视频中的播放时间为第10秒,即第二帧序号的视频帧为该第一视频中的第10秒的视频帧时,则第一播放时间为8:30:10。
示例性的,第一播放时间和第二播放时间可以为视频帧在该第一视频中的播放时间。具体地,在第二终端设备302播放该第一视频时,第二终端设备302的显示界面中可以显示该第一视频的播放时间,即显示第二视频帧在该第一视频中的播放时间。因此,在拍摄得到包含第二视频帧的拍摄图像时,第一终端设备301可以根据拍摄图像得到第二视频帧对应的第二播放时间。同时,第一终端设备301还可以获取同一时刻,第一终端设备301所播放的第一视频帧的第一帧序号,并可以根据第一帧序号获取第一视频帧在该第一视频中的第一播放时间,以根据第一播放时间和第二播放时间之间的时间差,确定第一终端设备301与第二终端设备302进行画面同步的同步时延。
可以理解的是,在启动第一终端设备301的摄像头进行拍摄时,第一终端设备301可以在第一终端设备301的显示界面中显示提示信息,该提示信息用于提示用户将摄像头朝向第二终端设备302的显示界面,以确保摄像头能拍摄到包含第二视频帧的拍摄图像。或者,在启动第一终端设备301的摄像头后,第一终端设备301可以通过摄像头获取预览图像,并通过对预览图像进行图像分析,以确定预览图像中是否包含第二终端设备302的显示界面。当预览图像中不包含第二终端设备302的显示界面时,第一终端设备301可以在第一终端设备301的显示界面中显示提示信息,以用于提示用户将摄像头朝向第二终端设备302的显示界面。
在另一个示例中,同步时延的测量可以由第三终端设备执行,其中,第三终端设备为除第一终端设备301和第二终端设备302之外的任一终端设备。请参阅图10,图10示出了通过第三终端设备进行同步时延测量的应用场景示意图。具体地,在第一终端设备301根据第一连接信息建立与第二终端设备302之间的网络连接后,用户可以在第一终端设备301或者第二终端设备302中启动画面同步测量,此时,与第一终端设备301或者第二终端设备302连接的第三终端设备303中可以弹出画面同步测量的确认窗口,以请求用户进行确认。当用户确认通过第三终端设备303进行画面同步测量时,第一终端设备301可以播放第一视频,并可以将所播放的第一视频中的视频帧投屏至第二终端设备302进行显示。在第二终端设备302对第一终端设备301投屏过来的视频帧进行显示时,第三终端设备303可以启动第三终端设备303的摄像头,以通过摄像头拍摄第一终端设备301当前显示的第一视频帧以及第二终端设备302当前显示的第二视频帧,得到拍摄图像。即拍摄图像中可以同时包含第一终端设备301当前所显示的第一视频帧和第二终端设备302当前所显示的第二视频帧。然后,第三终端设备303可以对拍摄图像进行图像分析,以获取第一终端设备301与第二终端设备302进行画面同步的同步时延。
示例性的,在二维码中包含终端设备的设备标识时,第三终端设备303可以直接对拍摄图像中的各二维码进行分析,得到第一视频帧对应的第一帧序号、该第一视频对应的帧率和第一终端设备301的设备标识,以及第二视频帧对应的第二帧序号、该第一视频对应的帧率和第二终端设备302的设备标识。随后,第三终端设备303可以根据第一帧序号与第二帧序号确定同一时刻第一终端设备301所显示的第一视频帧与第二终端设备302所显示的第二视频帧之间所相差的帧数,并可以根据所相差的帧数与该第一视频对应的帧率得到第一终端设备301与第二终端设备302进行画面同步的同步时延。例如,可以根据帧数*帧率得到画面同步的同步时延。
示例性的,在二维码中不包含设备标识时,第三终端设备303可以对拍摄图像进行图像识别,得到第一终端设备301对应的第一图像区域和第二终端设备302对应的第二图像区域。例如,第一终端设备301的显示界面中可以设置有第一终端设备301对应的第一设备编号(即图10中所示的终端设备bbb),同时第二终端设备302的显示界面中可以设置有第二终端设备302对应的第二设备编号(即图10中所示的终端设备aaa),因此,第三终端设备303可以通过对拍摄图像中的设备编号进行识别,来得到第一终端设备301对应的第一图像区域和第二终端设备302对应的第二图像区域。例如,在第一终端设备301与第二终端设备302的形状不同时,第三终端设备303可以通过对拍摄图像进行目标识别,来区分第一终端设备301和第二终端设备302,从而得到第一终端设备301对应的第一图像区域和第二终端设备302对应的第二图像区域。然后,第三终端设备303可以对第一图像区域中的二维码进行分析,得到第一视频帧对应的第一帧序号和该第一视频对应的帧率,并可以对第二图像区域中的二维码进行分析,得到第二视频帧对应的第二帧序号。随后,第三终端设备303可以根据第一帧序号与第二帧序号确定同一时刻第一终端设备301所显示的第一视频帧与第二终端设备302所显示的第二视频帧之间所相差的帧数,并可以根据所相差的帧数与该第一视频对应的帧率得到第一终端设备301与第二终端设备302进行画面同步的同步时延。例如,可以根据帧数*帧率得到画面同步的同步时延。
或者,在得到第一终端设备301对应的第一视频帧和第二终端设备302对应的第二视频帧后,第三终端设备303可以根据拍摄图像确定第一视频帧的第一播放时间,以及根据拍摄图像确定第二视频帧的第二播放时间。其中,第一播放时间为第一视频帧在该第一视频中的播放时间,第二播放时间为第二视频帧在该第一视频中的播放时间。然后,第三终端设备303可以根据第一播放时间和第二播放时间确定第一终端设备301与第二终端设备302进行画面同步的同步时延。例如,当第一视频帧为该第一视频中的第10秒的视频帧、第二视频帧为该第一视频中的第10.5秒的视频帧时,则可以确定第一播放时间为第10秒,第二播放时间为第10.5秒,即第一终端设备301与第二终端设备302进行画面同步的同步时延为第二终端设备滞后于第一终端设备0.5秒。
或者,第三终端设备303可以通过摄像头同时对第一终端设备301的显示界面和第二终端设备302的显示界面进行录屏,得到录屏视频。然后,第三终端设备303可以对录屏视频中的各帧录屏图像进行图像分析,得到各录屏图像对应的播放时间、第一终端设备301所显示的第一视频帧对应的第一帧序号以及第二终端设备302所显示的第二视频帧对应的第二帧序号。其中,各视频帧对应的播放时间可以为第三终端设备303录制到该视频帧的系统时间。随后,第三终端设备303可以从录屏视频中确定出第一目标录屏图像和第二目标录屏图像,并可以根据第一目标录屏图像对应的第一播放时间和第二目标录屏图像对应的第二播放时间之间的时间差,确定第一终端设备301与第二终端设备302进行画面同步的同步时延。第一目标录屏图像中的第一帧序号与第二目标录屏图像中的第二帧序号相同。
需要说明的是,第三终端设备303通过摄像头拍摄得到包含第一终端设备301当前显示的第一视频帧以及第二终端设备302当前显示的第二视频帧的拍摄图像后,可以将拍摄图像发送给第一终端设备301,第一终端设备301可以根据该拍摄图像获取第一终端设备301与第二终端设备302进行画面同步的同步时延。其中,第一终端设备301根据该拍摄图像获取第一终端设备301与第二终端设备302进行画面同步的同步时延的具体内容与第三终端设备303根据该拍摄图像获取第一终端设备301与第二终端设备302进行画面同步的同步时延的内容相同,在此不再赘述。
可以理解的是,在第三终端设备303启动摄像头后,为确保能拍摄到包含第一视频帧和第二视频帧的拍摄图像,第三终端设备303可以在第三终端设备303的显示界面中显示提示信息,该提示信息用于提示用户将第三终端设备303的摄像头同时朝向第一终端设备301的显示界面和第二终端设备302的显示界面。另外,在通过第三终端设备303的摄像头进行录屏时,第三终端设备303可以实时对录屏图像进行图像分析,以确定录屏图像中是否同时包含第一终端设备301所显示的第一视频帧和第二终端设备302所显示的第二视频帧。当录屏图像中不包含第一终端设备301所显示的第一视频帧,和/或不包含第二终端设备302所显示的第二视频帧时,第三终端设备303可以确定第三终端设备303的摄像头未同时朝向第一终端设备301的显示界面和第二终端设备302的显示界面,此时,第三终端设备303可以在第三终端设备303的显示界面中显示提示信息,该提示信息用于提示用户将第三终端设备303的摄像头同时朝向第一终端设备301和第二终端设备302的显示界面。
需要说明的是,当第二终端设备302包括多个时,第一终端设备301可以分别建立与各第二终端设备之间的网络连接,其中,第一终端设备301与各第二终端设备302之间的网络连接可以相同,也可以不相同。而在获取拍摄图像时,第一终端设备301可以通过第一终端设备301的摄像头对这多个第二终端设备302的显示画面进行拍摄,得到同时包含这多个第二终端设备302的显示界面的拍摄图像。然后,第一终端设备301可以对拍摄图像以及第一终端设备301在同一时刻所显示的第一视频帧进行图像分析,以分别得到各第二终端设备302与第一终端设备301进行画面同步的同步时延。或者,第三终端设备303可以通过第三终端设备303的摄像头对第一终端设备301和这多个第二终端设备302的显示界面进行拍摄或者录屏,得到同时包含第一终端设备301的显示界面以及这多个第二终端设备302的显示界面的拍摄图像或者录屏视频。然后,第三终端设备303可以对拍摄图像或者录屏视频进行图像分析,以分别得到各第二终端设备302与第一终端设备301进行画面同步的同步时延。
可以理解的是,当第二终端设备302包括多个时,第一终端设备301可以分别对各第二终端设备302的显示画面进行拍摄,得到包含各第二终端设备的显示画面的拍摄图像,从而根据各拍摄图像确定各第二终端设备302与第一终端设备301进行画面同步的同步时延。或者,第三终端设备可以分别对第一终端设备301和各第二终端设备302的显示画面进行拍摄或者录屏,得到包含第一终端设备301的显示界面以及任一个第二终端设备302的显示界面的拍摄图像或者录屏视频,从而得到各第二终端设备302与第一终端设备301进行画面同步的同步时延。
本实施例中,在得到第一终端设备301与第二终端设备302进行画面同步的同步时延后,第一终端设备301(或者第三终端设备)可以建立同步时延与共享内容(即画面)以及第一终端设备301与第二终端设备302之间的网络连接所对应的第一连接信息之间的预设对应关系。然后,可以将该预设对应关系关联保存于第一终端设备301,或者关联保存于与第一终端设备301通信连接的第三方存储装置。后续,当第一终端设备301基于相同的网络连接将第一终端设备301显示的画面投屏至第二终端设备302进行同步显示时,第一终端设备301可以直接根据该预设对应关系获取同步时延,从而可以根据同步时延控制第一终端设备301的画面播放,和/或控制第二终端设备302的画面播放,实现第一终端设备301与第二终端设备302之间的画面同步。
二、音频同步时,同步时延的测量
在音频同步中,测试数据可以为多个经过特殊设计的第一音频,各第一音频的内容相同,且各第一音频在相同时间区间通过预设方式进行时间标定。其中,相同时间区间的时长可以自定义设置,例如可以设置为3毫秒,或者可以设置为10毫秒。示例性的,可以通过不同频率进行时间标定。例如,在第一个第一音频中,可以将该相同时间区间的频率设置为20KHz;在第二个第一音频中,可以将该相同时间区间的频率设置为10KHz;在第三个第一音频中,可以将该相同时间区间的频率设置为5KHz,等等。
或者,可以通过不同的频率组合进行时间标定,即可以在相同时间区间中通过多个频率组合来进行时间标定。也就是说,可以从该相同时间区间中选取多个子区间,并为不同第一音频的子区间设置不同的频率来进行时间标定。其中,同一第一音频中的多个子区间的频率可以相同,也可以不相同,而不同的第一音频的各子区间的频率互不相同,即任一第一音频中的任一子区间的频率均与其他第一音频中的任一子区间的频率不相同,以方便后续进行音频分析。例如,在第一个第一音频中,可以将该相同时间区间中的子区间A和子区间B的频率均分别设置为30KHz、将子区间C的频率设置为25KHz;在第二个第一音频中,可以将子区间A和子区间B的频率均分别设置为20KHz、将子区间C的频率设置为10KHz;在第三个第一音频中,可以将子区间A和子区间B的频率均分别设置为5KHz,将子区间C的频率设置为2KHz,等等。
需要说明的是,各第一音频中其他时间的频率可以设置为统一的固定频率,例如可以均设置为2KHz,或者可以均设置为0。其中,其他时间是指除进行特定频率设置的时间区间以外的时间,例如,在直接通过不同频率进行时间标定的场景中,其他时间是指除该相同时间区间以外的时间。例如,在通过通过不同的频率组合进行时间标定的场景中,其他时间是指除所选取的子区间以外的时间。以下将以通过不同频率进行时间标定以及其他时间的频率为2KHz为例进行示例性说明。
因此,当第二终端设备之间不存在时延时,各第二终端设备播放该相同时间区间中的音频的时间相同。若各第二终端设备播放相同时间区间中的音频的的时间不相同,则表明各第二终端设备之间存在时延,从而可以根据相同时间区间中的音频在各第二终端设备中的播放时间确定各第二终端设备之间的同步时延。
请参阅图11,图11示出了通过第一终端设备进行音频投放时的同步时延测量的应用场景示意图。具体地,在第一终端设备301建立与各第二终端设备302之间的网络连接后,用户可以在第一终端设备301或者第二终端设备302中启动音频同步测量,此时,第一终端设备301可以将第一终端设备301中的各第一音频同时投放至对应的各第二终端设备302进行播放。如图11中的(a)和图11中的(b)所示,第一终端设备301可以将音频A(即相同时间区间的频率为20KHz、其他时间的频率为2KHz的音频)投放至第一个第二终端设备302进行播放,将音频B(即相同时间区间的频率为10KHz、其他时间的频率为2KHz的音频)投放至第二个第二终端设备302进行播放,将音频C(即相同时间区间的频率为5KHz、其他时间的频率为2KHz的音频)投放至第三个第二终端设备302进行播放,等等。在各第二终端设备302分别对第一终端设备301投放过来的第一音频进行播放时,第一终端设备301可以启动第一终端设备301的麦克风等录音装置,以通过麦克风等录音装置对各第二终端设备302播放的音频进行录制,得到包含各第二终端设备302所播放音频的录制音频(即第二音频)。然后,第一终端设备301可以对录制音频进行音频分析,获取这多个第二终端设备301进行音频同步的同步时延。
示例性的,由于各第二终端设备在该相同时间区间中的频率不相同,因此,第一终端设备301可以先根据频率对录制音频进行分离,得到各第二终端设备302中该相同时间区间所对应的录制音频,例如,可以得到图11中的(c)所示的各录制音频。然后,第一终端设备301可以获取各第二终端设备302所对应的录制音频的播放时间,从而可以根据各第二终端设备302对应的播放时间,获取这多个第二终端设备302进行音频同步的同步时延。其中,第二终端设备对应的录制音频的播放时间可以是指麦克风等录音装置录制到该第二终端设备开始播放该相同时间区间中的音频的时间。
在此,在根据各第二终端设备302对应的播放时间进行同步时延的确定时,可以以最晚的播放时间为基准来进行同步时延的确定。例如,当第一个第二终端设备302对应的播放时间为T1、第二个第二终端设备302对应的播放时间为T2、第三个第二终端设备302对应的播放时间为T3,且T3<T1<T2时,可以确定这多个第二终端设备302进行音频同步的同步时延包括第一同步时延和第二同步时延,第一同步时延为第一个第二终端设备302播放的音频滞后于第三个第二终端设备302播放的音频的时间,第二同步时延为第二个第二终端设备302播放的音频滞后于第二个第三终端设备302播放的音频的时间。
本实施例中,在得到这多个第二终端设备302进行音频同步的同步时延后,第一终端设备301可以建立同步时延与共享内容(即音频)以及第一终端设备301与各第二终端设备302之间的网络连接所对应的连接信息之间的预设对应关系,并可以将该预设对应关系关联保存于第一终端设备301,或者关联保存于与第一终端设备301通信连接的第三方存储装置。后续,当第一终端设备301基于相同的的网络连接将第一终端设备301中的音频投放至这多个第二终端设备302进行同步播放时,第一终端设备301可以直接根据该预设对应关系获取同步时延,从而可以根据同步时延来控制各第二终端设备302的音频播放,实现第二终端设备302之间的音频同步。
可选的,在通过多个第二终端设备302进行音频的同步播放时,为确保各第二终端设备302所播放音频的音量之间的均衡性,第一终端设备302还可以获取各第二终端设备302的播放音量以及各第二终端设备302与第一终端设备301之间的相对位置,并可以根据各第二终端设备302的播放音量确定各第二终端设备302进行音频播放的音量差异,从而可以根据音量差异确定各第二终端设备302对应的音量增益。然后,第一终端设备301可以建立音量增益与相对位置之间的预设对应关系,并可以将该预设对应关系关联保存于第一终端设备301,或者关联保存于与第一终端设备301通信连接的第三方存储装置。后续,在第一终端设备301基于相同的网络连接将第一终端设备301中的音频投放至这多个第二终端设备302进行播放时,第一终端设备301可以获取各第二终端设备302与第一终端设备301之间的相对位置,并根据相对位置与该预设对应关系获取音量增益,从而可以根据音量增益对各第二终端设备302的播放音量进行调整,使得各第二终端设备302的播放音量达到均衡,提高音频的播放效果。
具体地,第一终端设备301可以从所有播放音量中选取一个播放音量作为基准音量,并确定其他播放音量与基准音量之间的音量差。然后,第一终端设备301可以根据各音量差确定各第二终端设备302对应的音量增益。基准音量可以为所有播放音量中的最大音量,或者可以为所有播放音量中的最小音量,或者可以为用户自定义的音量等。
需要说明的是,在通过三个或三个以上的第二终端设备302组成环绕立体声时,可以先根据第二终端设备302的数量确定各第二终端设备302的摆放位置和角度。因此,在进行环绕立体声的音频同步测量时,可以先通过基于位置服务(location based service,LBS)和双麦克风测量得到这多个第二终端设备302当前的位置,并根据摆放位置和角度提醒用户对各第二终端设备302进行位置调整。其中,在提醒用户对各第二终端设备302进行位置调整时,可以结合AR功能,以通过AR来引导用户摆放第二终端设备302。在各第二终端设备302调整至所对应的摆放位置和角度后,可以通过多个第一音频测量这多个第二终端设备302进行音频同步的同步时延和音频增益。然后,可以建立同步时延与共享内容(即音频)以及各第二终端设备302与第一终端设备301之间的网络连接所对应的连接信息之间的第一预设对应关系,以及建立音量增益与各第二终端设备302之间的位置关系之间的第二预设对应关系,并可以将第一预设对应关系和第二预设对应关系保存于第一终端设备301,或者保存于与第一终端设备301通信连接的第三方存储装置。后续,当第一终端设备301基于相同的网络连接将音频投放至者多个第二终端设备302时,第一终端设备301可以基于第一预设对应关系获取同步时延,并可以基于第二预设对应关系获取音量增益,以根据同步时延和音频增益控制各第二终端设备302的音频播放。
三、视频同步时,同步时延的测量
在视频同步中,测试数据可以为经过特殊设计的第一视频,该第一视频的每一视频帧均设置有对应的视频标识,以通过视频标识标定该视频帧所对应的帧序号、帧率等视频信息。或者,通过视频标识标定该视频帧对应的帧序号、帧率等视频信息,以及播放该视频帧的终端设备的设备标识。其中,视频标识可以是二维码或者其他数据编码,且视频标识可以事先设置,也可以实时生成。例如,第一终端设备在将该第一视频投屏至第二终端设备进行播放之前,可以获取第二终端设备的设备标识,根据设备标识以及各视频帧对应的帧序号、帧率等视频信息分别生成各视频帧对应的视频标识,并将各视频标识添加至对应的视频帧中。同时,该第一视频中的音频均通过特定频率的设计分别与各视频帧对齐。例如,可以将A频率的音频与第一帧视频帧对应、将B频率的音频与第二帧视频帧对应、将C频率的音频与第三帧视频帧对应,等等。以下将以视频标识为二维码为例进行示例性说明。
在一个示例中,当视频同步为第一终端设备301显示的画面与第二终端设备302播放的音频同步时,在第一终端设备301根据第一连接信息建立与第二终端设备302之间的网络连接后,用户可以在第一终端设备301或者第二终端设备302启动进行音频投放的视频同步测量,此时,第一终端设备301可以播放第一视频,并可以将所播放的第一视频中的音频投放至第二终端设备302进行播放。在第二终端设备302对第一终端设备301投放过来的音频进行播放时,第一终端设备301可以启动第一终端设备301的麦克风等录音装置,以通过麦克风等录音装置对第二终端设备302当前播放的音频进行录制,得到录制音频(即目标音频)。然后,第一终端设备301可以对录制音频进行音频分析,获取录制音频对应的频率和第二播放时间,并可以根据录制音频的频率确定录制音频对应的第二视频帧的第二帧序号。随后,第一终端设备301可以后台获取第一终端设备301播放该第二帧序号的视频帧的第一播放时间,并根据第一播放时间与第二播放时间之间的时间差,获取第一终端设备301显示的画面与第二终端设备302播放的音频之间的同步时延。
或者,第一终端设备301在得到录制音频的同一时刻,可以后台获取第一终端设备301播放的第一视频帧的第一帧序号,然后,第一终端设备301可以根据录制音频对应的第二视频帧的第二帧序号、第一帧序号以及该第一视频的帧率确定第一终端设备301显示的画面与第二终端设备302播放的音频之间的同步时延。
或者,在第二终端设备302对第一终端设备301投放过来的音频进行播放时,第三终端设备303可以启动第三终端设备303的麦克风等录音装置,以通过麦克风等录音装置对第二终端设备302当前播放的音频进行录制,得到录制音频。同时,第三终端设备303可以启动第三终端设备303的摄像头,以通过摄像头对第一终端设备301当前显示的画面进行拍摄,得到拍摄图像。然后,第三终端设备303可以对录制音频进行音频分析,获取录制音频对应的频率,并可以根据录制音频的频率确定录制音频对应的第二视频帧以及第二视频帧对应的第二帧序号。随后,第三终端设备303可以对拍摄图像进行图像分析,获取第一终端设备301当前显示的第一视频帧对应的第一帧序号以及该第一视频对应的帧率,并可以根据第一帧序号、第二帧序号以及该第一视频对应的帧率,获取第一终端设备301显示的画面与第二终端设备302播放的音频之间的同步时延。
本实施例中,在获取第一终端设备301显示的画面与第二终端设备302播放的音频之间的同步时延后,可以建立同步时延与共享内容(即视频中的音频)以及第一终端设备301与第二终端设备302之间的网络连接所对应的第一连接信息之间的预设对应关系,并可以将该预设对应关系保存于第一终端设备301,或者关联保存于与第一终端设备301通信连接的第三方存储装置。后续,当第一终端设备301基于相同的网络连接将第一终端设备301播放的视频中的音频投放至该第二终端设备302进行播放时,第一终端设备301可以直接根据该预设对应关系获取同步时延,并可以根据同步时延控制第一终端设备301的画面播放,和/或控制第二终端设备的音频播放,实现第一终端设备301显示的画面与第二终端设备302播放的音频之间的同步。
在另一个示例中,在视频同步为第一终端设备301播放的音频与第二终端设备302显示的画面同步时,在第一终端设备301根据第一连接信息建立与第二终端设备302之间的网络连接后,用户可以在第一终端设备301或者第二终端设备302启动进行画面投屏的视频同步测量,此时,第一终端设备301可以播放第一视频,并可以将所播放的第一视频中的视频帧投屏至第二终端设备302进行显示。在第二终端设备302对第一终端设备301投屏过来的视频帧进行显示时,第一终端设备301可以启动第一终端设备301的摄像头,以通过摄像头对第二终端设备302当前显示的视频帧进行拍摄,得到拍摄图像。然后,第一终端设备301可以获取第二视频帧的第二播放时间,以及对拍摄图像进行图像分析,即根据拍摄图像中的视频标识确定第二视频帧对应的第二帧序号,并可以根据第二帧序号确定该第二视频帧对应的第二音频的频率。随后,第一终端设备301可以根据第二音频的频率获取第一终端设备301播放该第二音频的第一播放时间,并可以根据第一播放时间和第二播放时间之间的时间差,获取第一终端设备301播放的音频与第二终端设备302显示的画面之间的同步时延。其中,第一播放时间和第二播放时间可以为终端设备的系统时间。
或者,第一终端设备301可以根据拍摄图像中的视频标识确定第二终端设备302播放的第二视频帧的第二帧序号和帧率,并获取第一终端设备301在同一时刻播放的第一音频的频率,然后可以根据第一音频的频率确定与第一音频对应的第一视频帧的第一帧序号,以根据第一帧序号、第二帧序号和帧率确定第一终端设备301播放的音频与第二终端设备302显示的画面之间的同步时延。
或者,在第二终端设备302对第一终端设备301投屏过来的视频帧进行显示时,第三终端设备303可以启动第三终端设备303的摄像头,以通过摄像头对第二终端设备302当前显示的画面进行拍摄,得到拍摄图像。同时,第三终端设备303可以启动第三终端设备303的麦克风等录音装置,以通过麦克风等录音装置对第一终端设备301当前播放的音频进行录制,得到录制音频。然后,第三终端设备303可以对拍摄图像进行图像分析,获取第二终端设备302当前显示的第二视频帧对应的第二帧序号以及该第一视频对应的帧率。随后,第三终端设备303可以对录制音频进行音频分析,获取录制音频对应的频率,并可以根据频率确定录制音频对应的第一视频帧所对应的第一帧序号,从而可以根据第一帧序号、第二帧序号以及该第一视频对应的帧率,获取第一终端设备301播放的音频与第二终端设备302显示的画面之间的同步时延。
本实施例中,在获取第一终端设备301播放的音频与第二终端设备302显示的画面之间的同步时延后,可以建立同步时延与共享内容(即视频中的画面)以及第一终端设备301与第二终端设备302之间的网络连接所对应的第一连接信息之间的预设对应关系,并可以将该预设对应关系关联保存于第一终端设备301,或者关联保存于与第一终端设备301通信连接的第三方存储装置。后续,当第一终端设备301基于相同的网络连接将第一终端设备301播放的视频中的画面投屏至该第二终端设备302进行播放时,第一终端设备301可以直接根据该预设对应关系获取同步时延,并可以根据同步时延控制第一终端设备301的音频播放,和/或控制第二终端设备302的画面播放,实现第一终端设备301播放的音频与第二终端设备302显示的画面之间的同步。
在另一个示例中,当视频同步为第二终端设备302播放的音频与第二终端设备302显示的画面同步时,在第一终端设备301根据第一连接信息建立与第二终端设备302之间的网络连接后,用户可以在第一终端设备301或者第二终端设备302启动将音频和画面均投屏至同一终端设备的视频同步测量,此时,第一终端设备301可以播放第一视频,并可以将所播放的第一视频中的视频帧和音频均投屏至第二终端设备302进行播放。在第二终端设备302对第一终端设备301投屏过来的视频帧和音频进行播放时,第一终端设备301可以启动第一终端设备301的摄像头,以通过摄像头对第二终端设备302当前显示的视频帧进行拍摄,得到拍摄图像。同时第一终端设备301可以启动第一终端设备301的麦克风等录音装置,以通过麦克风等录音装置对第二终端设备302当前播放的音频进行录制,得到录制音频(即目标音频)。然后,第一终端设备301可以对拍摄图像进行图像分析,获取拍摄图像中第二视频帧对应的第二帧序号以及该第一视频对应的帧率。同时,第一终端设备301可以对录制音频进行音频分析,获取第二终端设备302当前播放的目标音频的频率,并可以根据频率确定该目标音频对应的第一视频帧的第一帧序号,从而可以根据第一帧序号、第二帧序号以及该第一视频对应的帧率,确定第二终端设备302播放的音频与画面之间的同步时延。
或者,在第二终端设备302对第一终端设备301投屏过来的视频帧和音频进行播放时,第一终端设备301可以启动第一终端设备301的摄像头,以通过摄像头对第二终端设备302当前显示的视频帧进行拍摄,得到拍摄图像。同时第一终端设备301可以启动第一终端设备301的麦克风等录音装置,以通过麦克风等录音装置对第二终端设,302当前播放的音频进行录制,得到录制音频。然后,第一终端设备301可以对拍摄图像进行图像分析,获取拍摄图像对应的第二视频帧的第二帧序号以及第一播放时间,并可以根据第二帧序号确定该第二视频帧对应的目标音频。随后,第一终端设备301通过对录制音频进行分析,确定该目标音频对应的第二播放时间,从而可以根据第一播放时间和第二播放时间,确定第二终端设备302播放的音频与画面之间的同步时延。
或者,在第二终端设备302对第一终端设备301投屏过来的视频帧和音频进行播放时,第一终端设备301可以启动第一终端设备301的摄像头,以通过摄像头对第二终端设备302当前显示的视频帧进行拍摄,得到拍摄图像。同时第一终端设备301可以启动第一终端设备301的麦克风等录音装置,以通过麦克风等录音装置对第二终端设备302当前播放的音频进行录制,得到录制音频。然后,第一终端设备301可以对拍摄图像进行图像分析,获取拍摄图像对应的第二视频帧的第二帧序号以及该第一视频的帧率,并获取同一时刻第一终端设备301所播放的第一视频帧的第一帧序号,以根据第一帧序号、第二帧序号以及该第一视频对应的帧率,确定第二终端设备302播放的画面与第一终端设备301播放的画面之间的第一时延。同时第一终端设备301可以对录制音频进行音频分析,获取第二终端设备302播放的目标音频以及该目标音频的第二播放时间,并获取第一终端设备301播放该目标音频的第一播放时间,从而可以根据第一播放时间和第二播放时间,确定第二终端设备302播放的音频与第一终端设备301播放的音频之间的第二时延。最后,第一终端设备301可以根据第一时延和第二时延确定第二终端设备302播放的音频与画面之间的同步时延。
本实施例中,在获取第二终端设备301显示的画面与播放的音频之间的同步时延后,可以建立同步时延与共享内容(即视频中的音频与画面)以及第一终端设301与第二终端设备302之间的网络连接所对应的第一连接信息之间的预设对应关系,并可以将该预设对应关系关联保存于第一终端设备301,或者关联保存于与第一终端设备301通信连接的第三方存储装置。后续,当第一终端设备301基于相同的网络连接将第一终端设备301播放的画面和音频均投屏至该第二终端设备302进行播放时,第一终端设备301可以直接根据该预设对应关系获取同步时延,并可以根据同步时延控制第二终端设备302的画面播放,或者控制第二终端设备302的音频播放,实现第二终端设备302播放的画面与音频之间的同步。
在另一个示例中,当视频同步为某一第二终端设备302播放的音频与另一第二终端设备302显示的画面同步时,在第一终端设备301根据第一连接信息建立与各第二终端设备302之间的网络连接后,用户可以在第一终端设备301或者任一第二终端设备302中启动将音频和画面投屏至不同终端设备的视频同步测量。以将视频中的音频投放至智能音箱、将视频中的画面投屏至智能电视为例进行说明。此时,第一终端设备301可以播放第一视频,并可以将所播放的第一视频中的音频投放至智能音箱进行播放,并将所播放的第一视频中的视频帧投屏至智能电视进行播放。在智能音箱对第一终端设备301投放过来的音频进行播放,以及智能电视对第一终端设备301投屏过来的视频帧进行播放时,第一终端设备301可以启动第一终端设备301的麦克风等录音装置,以通过麦克风等录音装置对智能音箱当前播放的音频进行录制,得到录制音频,同时第一终端设备301可以启动第一终端设备301的摄像头,以通过摄像头对智能电视当前显示的视频帧进行拍摄,得到拍摄图像。然后,第一终端设备301可以对录制音频进行音频分析,获取智能音箱当前播放的目标音频的频率,并可以根据频率确定该目标音频对应的第一视频帧的第一帧序号。同时,第一终端设备301可以对拍摄图像进行图像分析,确定智能电视当前显示的第二视频帧的第二帧序号以及该第一视频对应的帧率。随后,第一终端设备301可以根据第一帧序号、第二帧序号以及该第一视频对应的帧率,确定智能音箱播放的音频与智能电视播放的画面之间的同步时延。
或者,第一终端设备301可以对拍摄图像进行图像分析,确定智能电视当前显示的第二视频帧以及该第二视频帧对应的第一播放时间,并确定该第二视频帧对应的目标音频。同时,第一终端设备301可以对录制音频进行音频分析,确定智能音箱播放的该目标音频的第二播放时间。因此,第一终端设备301可以根据第一播放时间和第二播放时间,确定智能音箱播放的音频与智能电视播放的画面之间的同步时延。
本实施例中,在获取智能电视显示的画面与智能音箱播放的音频之间的同步时延后,可以建立同步时延与共享内容(即视频中的音频和画面)以及第一终端设备301与各第二终端设备(如智能音箱和智能电视)之间的网络连接所对应的第一连接信息之间的预设对应关系,并可以将该预设对应关系关联保存于第一终端设备301,或者关联保存于与第一终端设备301通信连接的第三方存储装置。后续,当第一终端设备301基于相同的网络连接将第一终端设备301播放的视频中的音频投放至该智能音箱进行播放,同时将视频中的画面投屏至该智能电视进行显示时,第一终端设备301可以直接根据该预设对应关系获取同步时延,并可以根据同步时延控制该智能音箱的音频播放,或者控制该智能电视的画面播放,实现智能音箱播放的音频与智能电视显示的画面之间的同步。
基于上述描述,以下将对本申请实施例提供的同步时延测量方法和内容同步方法进行简要说明。
请参阅图12,图12示出了本申请一实施例提供的同步时延测量方法的示意性流程图。其中,该方法应用于第一终端设备,用于测量画面同步中的同步时延。如图12所示,该方法可以包括:
S1201、第一终端设备根据第一连接信息建立第一终端设备与第二终端设备之间的网络连接。
S1202、第一终端设备播放第一视频。
S1203、第一终端设备将第一视频中的视频帧投屏至第二终端设备。
S1204、第二终端设备播放接收到的视频帧。
S1205、第一终端设备获取拍摄图像,并根据拍摄图像确定第一终端设备与第二终端设备进行画面同步的同步时延,拍摄图像中包括第二终端设备当前播放的第二视频帧,第二视频帧为第一视频中的视频帧。
在画面同步中,第一终端设备可以进行第一视频的播放,并可以将所播放的第一视频中的视频帧投屏至第二终端设备进行播放。在第二终端设备对接收到的视频帧进行播放时,第一终端设备可以对第二终端设备进行拍照,得到拍摄图像,并可以根据拍摄图像来确定画面同步的同步时延,提高同步时延测量的准确性。
请参阅图13,图13示出了本申请另一实施例提供的同步时延测量方法的示意性流程图。其中,该方法应用于第一终端设备,用于测量视频同步中的同步时延。如图13所示,该方法可以包括:
S1301、第一终端设备根据第一连接信息建立第一终端设备与第二终端设备之间的网络连接。
S1302、第一终端设备播放第一视频。
S1303、第一终端设备将第一视频中的音频和/或视频帧投屏至第二终端设备。
S1304、第二终端设备播放接收到的音频和/或视频帧。
S1305、第一终端设备获取目标音频和/或拍摄图像,并根据目标音频和/或拍摄图像确定视频同步中的同步时延。
在视频同步中,第一终端设备可以进行第一视频的播放,并可以将所播放的第一视频中的视频帧和/或音频投屏至第二终端设备。在第二终端设备对接收到的视频帧和/或音频进行播放时,第一终端设备可以对第二终端设备的显示画面进行拍照,得到拍摄图像,和/或对第二终端设备进行音频采集,得到目标音频。然后,第一终端设备可以根据拍摄图像和/或目标音频来确定视频同步中的同步时延。
请参阅图14,图14示出了本申请另一实施例提供的同步时延测量方法的示意性流程图。其中,该方法应用于第一终端设备,用于测量音频同步中的同步时延。如图14所示,该方法可以包括:
S1401、第一终端设备根据第一连接信息建立第一终端设备与各第二终端设备之间的网络连接。
S1402、第一终端设备获取各第一音频,各第一音频相同,且各第一音频在相同时间区间通过预设方式进行时间标定。
S1403、第一终端设备分别向各第二终端设备投放对应的第一音频。
S1404、各第二终端设备对接收到的第一音频进行播放。
S1405、第一终端设备获取第二音频,并根据第二音频确定相同时间区间在各第二终端设备中的播放时间,并根据各播放时间确定音频同步中的同步时延,第二音频中包括各第二终端设备播放的音频。
在音频同步中,第一终端设备可以将同一第一音频复制为多份,并可以在各第一音频的相同时间区间通过预设方式进行不同的时间标定。然后,第一终端设备可以向各第二终端设备投放对应的第一音频。在各第二终端设备对接收到的第一音频进行播放时,第一终端设备可以对各第二终端设备播放的音频进行录制,得到第二音频,并可以根据第二音频确定该相同时间区间在各第二终端设备中的播放时间,从而可以根据播放时间确定音频同步的同步时延。
请参阅图15,图15示出了本申请一实施例提供的内容同步方法的示意性流程图。如图15所示,该方法可以包括:
S1501、第一终端设备建立第一终端设备与第二终端设备之间的网络连接。
S1502、第一终端设备确定第一终端设备与第二终端设备之间的连接信息,并获取共享内容,根据共享内容和连接信息确定同步播放的同步时延。
S1503、第一终端设备向第二终端设备发送共享内容。
S1504、第一终端设备根据同步时延控制第一终端设备的内容播放,和/或:
S1505、第一终端设备根据同步时延控制第二终端设备的内容播放。
本实施例中,在第一终端设备将内容共享至第二终端设备进行播放时,第一终端设备可以获取共享内容以及共享内容对应的第二终端设备。然后,第一终端设备可以确定第一终端设备与第二终端设备之间的连接信息,并可以根据共享内容以及第一终端设备与第二终端设备之间的连接信息确定同步播放的同步时延,从而根据同步时延控制第一终端设备的内容播放,和/或控制第二终端设备的内容播放,以确保内容播放的同步性,提升用户体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请实施例还提供了一种终端设备,所述终端设备包括至少一个存储器、至少一个处理器以及存储在所述至少一个存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使所述终端设备实现上述任意各个方法实施例中的步骤。示例性的,所述终端设备的结构可以如图1所示。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被计算机执行时,使所述计算机实现上述任意各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备实现上述任意各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括:能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory,ROM)、随机存取存储器(random accessmemory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (25)
1.一种同步时延测量方法,应用于第一终端设备,用于测量画面同步中的同步时延,其特征在于,所述方法包括:
所述第一终端设备根据第一连接信息建立所述第一终端设备与第二终端设备之间的网络连接;
所述第一终端设备播放第一视频,并将所述第一视频中的视频帧投屏至所述第二终端设备;
所述第一终端设备获取拍摄图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧,所述第二视频帧为所述第一视频中的视频帧;
所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
2.根据权利要求1所述的方法,其特征在于,所述第一终端设备获取拍摄图像包括:
所述第一终端设备通过所述第一终端设备的摄像头获取所述第二终端设备对应的拍摄图像。
3.根据权利要求2所述的方法,其特征在于,所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,包括:
所述第一终端设备根据所述拍摄图像确定所述第二视频帧的第二播放时间;
所述第一终端设备获取所述第一终端设备在同一时刻播放的第一视频帧的第一播放时间,所述第一播放时间和所述第二播放时间为视频帧在所述第一视频中的播放时间,所述同一时刻为所述第二终端设备播放所述第二视频帧的时刻;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
4.根据权利要求2所述的方法,其特征在于,所述第一视频的每一视频帧中设置有对应的视频标识,所述视频标识中包括帧序号;
所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,包括:
所述第一终端设备根据所述拍摄图像确定所述第二视频帧的第二播放时间,并根据所述拍摄图像中的视频标识确定所述第二视频帧的第二帧序号;
所述第一终端设备获取所述第一终端设备播放所述第二帧序号的视频帧的第一播放时间;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延;
其中,所述第一播放时间和所述第二播放时间为所述第一终端设备或者所述第二终端设备的系统时间。
5.根据权利要求2所述的方法,其特征在于,所述第一视频的每一视频帧中设置有对应的视频标识,所述视频标识中包括帧序号和帧率;
所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,包括:
所述第一终端设备根据所述拍摄图像中的视频标识获取所述第二视频帧的第二帧序号和帧率,并获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号,所述同一时刻为所述第二终端设备播放所述第二视频帧的时刻;
所述第一终端设备根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
6.根据权利要求5所述的方法,其特征在于,所述第一终端设备获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号,包括:
所述第一终端设备根据所述第一视频帧中的视频标识获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号。
7.根据权利要求1所述的方法,其特征在于,所述第一终端设备获取拍摄图像包括:
所述第一终端设备通过第三终端设备的摄像头获取所述拍摄图像,所述第三终端设备为除所述第一终端设备和所述第二终端设备以外的终端设备,所述拍摄图像中还包括所述第一终端设备当前播放的第一视频帧。
8.根据权利要求7所述的方法,其特征在于,所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,包括:
所述第一终端设备根据所述拍摄图像确定所述第一视频帧的第一播放时间和所述第二视频帧的第二播放时间,所述第一播放时间和所述第二播放时间为视频帧在所述第一视频中的播放时间;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
9.根据权利要求7所述的方法,其特征在于,所述第一视频的每一视频帧中设置有对应的视频标识,所述视频标识中包括帧序号和帧率;
所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,包括:
所述第一终端设备根据所述拍摄图像中的第一视频标识确定所述第一视频帧的第一帧序号和帧率,并根据所述拍摄图像中的第二视频标识确定所述第二视频帧的第二帧序号;
所述第一终端设备根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延。
10.根据权利要求7所述的方法,其特征在于,所述拍摄图像包括多张,所述第一终端设备根据所述拍摄图像确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延,包括:
所述第一终端设备根据第一拍摄图像确定所述第二视频帧的第二播放时间,并根据所述第一拍摄图像中的视频标识确定所述第二视频帧的第二帧序号,所述第一拍摄图像为所述拍摄图像中的任一张;
所述第一终端设备根据所述第二帧序号确定第二拍摄图像,所述第二拍摄图像中包括所述第一终端设备播放所述第二帧序号的视频帧;
所述第一终端设备根据所述第二拍摄图像确定所述第一终端设备播放所述第二帧序号的视频帧的第一播放时间;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行画面同步的同步时延;
其中,所述第一播放时间和所述第二播放时间为所述第一终端设备或者所述第二终端设备的系统时间。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述第一连接信息包括网络类型和网络拓扑结构。
12.根据权利要求4至6或者9至10中任一项所述的方法,其特征在于,所述视频标识为二维码。
13.一种同步时延测量方法,其特征在于,应用于第一终端设备,用于测量视频同步中的同步时延,所述方法包括:
所述第一终端设备根据第一连接信息建立所述第一终端设备与第二终端设备之间的网络连接;
所述第一终端设备播放第一视频,并将所述第一视频中的音频和/或视频帧投屏至所述第二终端设备;
所述第一终端设备获取目标音频和/或拍摄图像,并根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延。
14.根据权利要求13所述的方法,其特征在于,所述第一视频的每一视频帧均设置有对应的音频,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的视频帧与所述第二终端设备播放的音频同步时,所述目标音频为所述第二终端设备当前播放的音频;
所述第一终端设备根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延,包括:
所述第一终端设备获取所述目标音频的频率,并根据所述目标音频的频率确定与所述目标音频对应的第二视频帧的第二帧序号;
所述第一终端设备获取所述第一终端设备在同一时刻播放的第一视频帧的第一帧序号,所述同一时刻为所述第二终端设备播放所述目标音频的时刻;
所述第一终端设备根据所述第一帧序号、所述第二帧序号和所述第一视频的帧率确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延。
15.根据权利要求13所述的方法,其特征在于,所述第一视频的每一视频帧均设置有对应的音频,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的视频帧与所述第二终端设备播放的音频同步时,所述目标音频为所述第二终端设备当前播放的音频;
所述第一终端设备根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延,包括:
所述第一终端设备获取所述目标音频的频率和所述第二终端设备播放所述目标音频的第二播放时间;
所述第一终端设备根据所述目标音频的频率确定与所述目标音频对应的第二视频帧的第二帧序号,并获取所述第一终端设备播放所述第二帧序号的视频帧的第一播放时间;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延;
其中,所述第一播放时间和所述第二播放时间为所述第一终端设备的系统时间。
16.根据权利要求13所述的方法,其特征在于,所述第一视频的每一视频帧均设置有对应的视频标识和音频,所述视频标识包括帧序号和帧率,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的音频与所述第二终端设备播放的视频帧同步时,所述拍摄图像为所述第二终端设备对应的图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧;
所述第一终端设备根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延,包括:
所述第一终端设备根据所述拍摄图像中的视频标识确定所述第二视频帧的第二帧序号和帧率;
所述第一终端设备获取所述第一终端设备在同一时刻播放的第一音频的频率,并确定与所述第一音频的频率对应的第一视频帧的第一帧序号;
所述第一终端设备根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延。
17.根据权利要求13所述的方法,其特征在于,所述第一视频的每一视频帧均设置有对应的视频标识和音频,所述视频标识包括帧序号和帧率,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第一终端设备播放的音频与所述第二终端设备播放的视频帧同步时,所述拍摄图像为所述第二终端设备对应的图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧;
所述第一终端设备根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延,包括:
所述第一终端设备获取所述第二视频帧的第二播放时间,并根据所述拍摄图像中的视频标识确定所述第二视频帧的第二帧序号;
所述第一终端设备确定与所述第二帧序号对应的第二音频,并获取所述第一终端设备播放所述第二音频的第一播放时间;
所述第一终端设备根据所述第一播放时间和所述第二播放时间确定所述第一终端设备与所述第二终端设备进行视频同步的同步时延。
18.根据权利要求13所述的方法,其特征在于,所述第一视频的每一视频帧均设置有对应的视频标识和音频,所述视频标识包括帧序号和帧率,各所述视频帧对应的音频的频率互不相同;
当视频同步为所述第二终端设备播放的音频与视频帧同步时,所述目标音频为所述第二终端设备当前播放的音频,所述拍摄图像为所述第二终端设备对应的图像,所述拍摄图像中包括所述第二终端设备当前播放的第二视频帧;
所述第一终端设备根据所述目标音频和/或所述拍摄图像确定视频同步中的同步时延,包括:
所述第一终端设备根据所述拍摄图像中的视频标识确定所述第二终端设备播放的第二视频帧的第二帧序号和帧率;
所述第一终端设备根据所述目标音频的频率确定与所述目标音频对应的第一视频帧的第一帧序号;
所述第一终端设备根据所述第一帧序号、所述第二帧序号和所述帧率确定所述第二终端设备进行视频同步的同步时延。
19.一种同步时延测量方法,其特征在于,应用于测量音频同步中的同步时延,所述方法包括:
根据第一连接信息建立第一终端设备与各第二终端设备之间的网络连接;
通过所述第一终端设备分别向各所述第二终端设备投放各第一音频,各所述第一音频相同,且各所述第一音频在相同时间区间通过预设方式进行时间标定;
获取第二音频,所述第二音频包括各所述第二终端设备播放的音频;
根据所述第二音频确定所述相同时间区间在各所述第二终端设备中的播放时间,并根据各所述播放时间确定音频同步中的同步时延。
20.根据权利要求19所述的方法,其特征在于,各所述第一音频在所述相同时间区间通过频率或者频率组合的方式进行时间标定。
21.一种内容同步方法,其特征在于,应用于第一终端设备,所述方法包括:
所述第一终端设备确定所述第一终端设备与第二终端设备之间的连接信息;
所述第一终端设备获取共享内容,并根据所述共享内容和所述连接信息确定同步播放的同步时延,所述同步时延通过权利要求1至20中任一项所述的方法得到;
所述第一终端设备向所述第二终端设备发送所述共享内容,并根据所述同步时延控制所述第一终端设备的内容播放,和/或控制所述第二终端设备播放所述共享内容。
22.根据权利要求21所述的方法,其特征在于,所述第一终端设备向所述第二终端设备发送所述共享内容,并根据所述同步时延控制所述第一终端设备的内容播放,和/或控制所述第二终端设备播放所述共享内容,包括:
所述第一终端设备向所述第二终端设备发送所述共享内容、所述同步时延和控制指令,所述控制指令用于指示所述第二终端设备根据所述同步时延控制所述共享内容的播放。
23.根据权利要求21所述的方法,其特征在于,所述第一终端设备向所述第二终端设备发送所述共享内容,并根据所述同步时延控制所述第一终端设备的内容播放,和/或控制所述第二终端设备播放所述共享内容,包括:
所述第一终端设备根据所述同步时延确定所述第二终端设备的播放时间,并在所述播放时间向所述第二终端设备发送所述共享内容。
24.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,使所述终端设备实现如权利要求1至23中任一项所述的方法。
25.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被计算机执行时,使所述计算机实现如权利要求1至23中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110121978.3A CN114827581A (zh) | 2021-01-28 | 2021-01-28 | 同步时延测量方法、内容同步方法、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110121978.3A CN114827581A (zh) | 2021-01-28 | 2021-01-28 | 同步时延测量方法、内容同步方法、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114827581A true CN114827581A (zh) | 2022-07-29 |
Family
ID=82526655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110121978.3A Pending CN114827581A (zh) | 2021-01-28 | 2021-01-28 | 同步时延测量方法、内容同步方法、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114827581A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115499677A (zh) * | 2022-09-20 | 2022-12-20 | 上海哔哩哔哩科技有限公司 | 基于直播的音视频同步检测方法及装置 |
CN115811628A (zh) * | 2022-11-03 | 2023-03-17 | 深圳创维-Rgb电子有限公司 | 声音与画面的同步处理方法及相关装置 |
CN116017012A (zh) * | 2022-11-28 | 2023-04-25 | 深圳创维-Rgb电子有限公司 | 多屏同步方法、装置、显示设备及计算机可读存储介质 |
CN117201854A (zh) * | 2023-11-02 | 2023-12-08 | 广东朝歌智慧互联科技有限公司 | 应用于视频同步播放系统的精确seek视频帧的方法、系统 |
WO2024093570A1 (zh) * | 2022-10-31 | 2024-05-10 | 华为技术有限公司 | 一种投屏方法及装置 |
-
2021
- 2021-01-28 CN CN202110121978.3A patent/CN114827581A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115499677A (zh) * | 2022-09-20 | 2022-12-20 | 上海哔哩哔哩科技有限公司 | 基于直播的音视频同步检测方法及装置 |
WO2024093570A1 (zh) * | 2022-10-31 | 2024-05-10 | 华为技术有限公司 | 一种投屏方法及装置 |
CN115811628A (zh) * | 2022-11-03 | 2023-03-17 | 深圳创维-Rgb电子有限公司 | 声音与画面的同步处理方法及相关装置 |
CN116017012A (zh) * | 2022-11-28 | 2023-04-25 | 深圳创维-Rgb电子有限公司 | 多屏同步方法、装置、显示设备及计算机可读存储介质 |
CN117201854A (zh) * | 2023-11-02 | 2023-12-08 | 广东朝歌智慧互联科技有限公司 | 应用于视频同步播放系统的精确seek视频帧的方法、系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11849210B2 (en) | Photographing method and terminal | |
WO2020238871A1 (zh) | 一种投屏方法、系统及相关装置 | |
WO2020253719A1 (zh) | 一种录屏方法及电子设备 | |
CN111345010B (zh) | 一种多媒体内容同步方法、电子设备及存储介质 | |
CN112231025B (zh) | Ui组件显示的方法及电子设备 | |
WO2020062159A1 (zh) | 无线充电方法及电子设备 | |
CN113691842B (zh) | 一种跨设备的内容投射方法及电子设备 | |
CN114827581A (zh) | 同步时延测量方法、内容同步方法、终端设备及存储介质 | |
US20230189366A1 (en) | Bluetooth Communication Method, Terminal Device, and Computer-Readable Storage Medium | |
WO2020253754A1 (zh) | 一种多终端的多媒体数据通信方法和系统 | |
US11973895B2 (en) | Call method and apparatus | |
CN114115770B (zh) | 显示控制的方法及相关装置 | |
CN114040242A (zh) | 投屏方法和电子设备 | |
CN112543447A (zh) | 基于通讯录的设备发现方法、音视频通信方法及电子设备 | |
CN113938720A (zh) | 多设备协作的方法、电子设备及多设备协作系统 | |
CN114089932A (zh) | 多屏显示方法、装置、终端设备及存储介质 | |
CN114756184A (zh) | 协同显示方法、终端设备及计算机可读存储介质 | |
EP4293997A1 (en) | Display method, electronic device, and system | |
CN114500901A (zh) | 双景录像方法、装置和电子设备 | |
CN112532508B (zh) | 一种视频通信方法及视频通信装置 | |
CN115708059A (zh) | 设备之间的数据通信方法、电子设备及可读存储介质 | |
CN114827098A (zh) | 合拍的方法、装置、电子设备和可读存储介质 | |
CN114489876A (zh) | 一种文本输入的方法、电子设备和系统 | |
CN113867851A (zh) | 电子设备操作引导信息录制方法、获取方法和终端设备 | |
CN116668763B (zh) | 录屏方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |