CN113934388A - 同步显示方法、终端及存储介质 - Google Patents
同步显示方法、终端及存储介质 Download PDFInfo
- Publication number
- CN113934388A CN113934388A CN202010672805.6A CN202010672805A CN113934388A CN 113934388 A CN113934388 A CN 113934388A CN 202010672805 A CN202010672805 A CN 202010672805A CN 113934388 A CN113934388 A CN 113934388A
- Authority
- CN
- China
- Prior art keywords
- video stream
- stream data
- sending
- waiting time
- receiving end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 239000003999 initiator Substances 0.000 claims 2
- 230000006854 communication Effects 0.000 abstract description 44
- 238000004891 communication Methods 0.000 abstract description 44
- 238000012545 processing Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 21
- 230000005540 biological transmission Effects 0.000 description 15
- 238000007726 management method Methods 0.000 description 15
- 238000005192 partition Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例提供一种同步显示方法、终端及存储介质,涉及通信技术领域,通过接收端对等待时间进行统计,并反馈给发送端,使得发送端调整同步信号的时刻,以实现发送端和接收端的同步显示。本申请实施例提供的同步显示方法,能够减少发送端的视频流数据在接收端显示前的等待时间,使得发送端和接收端的视频播放可以同步,由此可以提高用户的观看体验。
Description
技术领域
本申请实施例涉及通信技术领域,尤其涉及一种同步显示方法、终端及存储介质。
背景技术
目前的移动终端都具有显示功能,然而移动终端为了携带的便利性,通常尺寸都不会很大,这就限制了移动终端的显示屏的尺寸;在某些应用场景下,例如,需要多人共享某一移动终端的显示内容时,可以将该移动终端的显示内容在一个大屏幕上进行显示,例如,可以将一个手机投屏在一个电视机上,以便于多人共同观看某一手机上的显示内容。
然而,在手机投屏的过程中,由于手机和电视都有自己独立的同步信号,且手机和电视的时钟源可能不一致,此外,由于手机和电视都没有时钟源校准机制,即使在手机和电视时钟源对齐的情况下,随着时间的推移,两者时钟源也会产生偏差,而且,手机和电视之间的网络传输时间是不可控的,由此会导致手机投屏到电视上的延迟是不稳定的,降低了用户的观看体验。
发明内容
本申请实施例提供了一种同步显示方法、终端及存储介质,以提供一种发送端和接收端之间同步显示的方式,能够减少发送端的视频流数据在接收端显示前的等待时间,使得发送端和接收端的视频播放可以同步,由此可以提高用户的观看体验。
第一方面,本申请实施例提供了一种同步显示方法,应用于接收端,包括:
接收发送端的视频流数据;具体地,该发送端可以是手机、移动终端、掌上电脑或平板电脑等具有无线投屏功能的移动设备。
对视频流数据在接收端的等待时间进行统计,得到第一等待时间;具体地,该接收端可以是具有大屏幕的显示设备,该第一等待时间可以用于表征视频流数据中的每一帧画面数据到达接收端到在接收端显示之前的时间间隔。
将第一等待时间发送给发送端,使得发送端根据第一等待时间调整发送端的同步信号,其中,发送端的同步信号用于确定发送端视频流数据的生成时刻;具体地,该发送端同步信号对应的时刻可以由发送端的时钟源确定,该发送端同步信号的周期可以和视频流数据的显示周期一致,示例性的,假设每秒传输帧数为60fps,则显示周期为16.6ms。
获取接收端的同步信号,根据接收端的同步信号对视频流数据进行显示;具体地,该接收端同步信号可以用于确定视频流数据在接收端的显示时刻,其中,该接收端同步信号对应的时刻可以由接收端的时钟源确定,该接收端同步信号的周期也可以和视频流数据的显示周期一致。
其中一种可能的实现方式中,接收发送端的视频流数据之前,还包括:
将接收端的时钟源信息发送给发送端。
其中一种可能的实现方式中,对视频流数据在接收端的等待时间进行统计,得到第一等待时间包括:
获取预置数目的第一视频流数据,将第一视频流数据中的每一帧视频流数据在接收端的等待时间与多个预置的时间区间对应;具体地,可以预先设置多个时间区间,并可以将每一帧视频流数据在接收端的等待时间与该时间区间进行匹配,由此可以将每一帧视频流数据与预置的时间区间进行对应。
获取与最多视频流数据对应的第一时间区间,根据第一时间区间内的每一帧视频流数据的等待时间进行均值计算,得到第一等待时间;具体地,可以统计每个时间区间内的视频流数据帧的个数,由此可以得到最多视频流数据帧对应的第一时间区间。
其中一种可能的实现方式中,对视频流数据在接收端的等待时间进行统计,得到第一等待时间包括:
获取预置时间段内的第一视频数据分块,统计第一视频数据分块中的所有分块在接收端的等待时间的第一均值;具体地,每一帧视频流数据可以包含多个分块。
将第一均值与预置第一时间阈值进行比较;若第一均值大于或等于预置第一时间阈值,对第一均值与预置第一时间阈值进行差值计算,得到第一等待时间;具体地,若该第一均值大于或等于预置第一时间阈值,则可以将该第一均值减去预置第一时间阈值,由此可以得到第一等待时间。
其中一种可能的实现方式中,将第一等待时间发送给发送端包括:
将第一等待时间与预置第二时间阈值进行比较;若第一等待时间大于或等于预置第二时间阈值,将第一等待时间发送给发送端。
本申请实施例还提供了一种同步显示方法,应用于发送端,包括:
获取发送端的同步信号,根据发送端的同步信号生成视频流数据。
将视频流数据发送至接收端。
接收接收端的第一等待时间,根据第一等待时间调整发送端的同步信号,使得发送端根据调整后的发送端的同步信号生成视频流数据。
其中一种可能的实现方式中,将视频流数据发送至接收端包括:
将视频流数据进行分块,并将视频流数据的每个分块依次发送给接收端。
其中一种可能的实现方式中,将视频流数据的每个分块依次发送给接收端包括:
将视频流数据的每个分块进行分层编码,分别得到第一图层分块及第二图层分块;具体地,该第一图层可以是高分辨率图层,该第二图层可以是低分辨率图层。
依次将第一图层分块及第二图层分块发送至接收端。
第二方面,本申请实施例提供一种同步显示装置,应用于接收端,包括:
接收模块,用于接收发送端的视频流数据;
统计模块,用于对视频流数据在接收端的等待时间进行统计,得到第一等待时间;
同步模块,用于将第一等待时间发送给发送端,使得发送端根据第一等待时间调整发送端的同步信号,其中,发送端的同步信号用于确定端视频流数据的生成时刻;
显示模块,用于获取接收端的同步信号,根据接收端的同步信号对视频流数据进行显示。
其中一种可能的实现方式中,上述装置还包括:
发送模块,用于将接收端的时钟源信息发送给发送端。
其中一种可能的实现方式中,上述统计模块包括:
获取单元,用于获取预置数目的第一视频流数据,将第一视频流数据中的每一帧视频流数据在接收端的等待时间与多个预置的时间区间对应;
计算单元,用于获取与最多视频流数据对应的第一时间区间,根据第一时间区间内的每一帧视频流数据的等待时间进行均值计算,得到第一等待时间。
其中一种可能的实现方式中,上述统计模块包括:
统计单元,用于获取预置时间段内的第一视频数据分块,统计第一视频数据分块中的所有分块在接收端的等待时间的第一均值;
比较单元,用于将第一均值与预置第一时间阈值进行比较;若第一均值大于或等于预置第一时间阈值,对第一均值与所述预置第一时间阈值进行差值计算,得到第一等待时间。
其中一种可能的实现方式中,上述同步模块包括:
比较单元,用于将第一等待时间与预置第二时间阈值进行比较;
发送单元,用于若第一等待时间大于或等于预置第二时间阈值,将第一等待时间发送给发送端。
本申请实施例还提供一种同步显示装置,应用于发送端,包括:
创建模块,用于获取发送端的同步信号,根据发送端的同步信号生成视频流数据;
发送模块,用于将视频流数据发送至接收端;
同步模块,用于接收接收端的第一等待时间,根据第一等待时间调整发送端的同步信号,使得发送端根据调整后的发送端的同步信号生成视频流数据。
其中一种可能的实现方式中,上述发送模块还用于将视频流数据进行分块,并将视频流数据的每个分块依次发送给接收端。
其中一种可能的实现方式中,上述发送模块包括:
分层单元,用于将视频流数据的每个分块进行分层编码,分别得到第一图层分块及第二图层分块;
发送单元,用于依次将第一图层分块及第二图层分块发送至接收端。
第三方面,本申请实施例提供一种接收端,包括:
存储器,上述存储器用于存储计算机程序代码,上述计算机程序代码包括指令,当上述接收端从上述存储器中读取上述指令,以使得上述接收端执行以下步骤:
接收发送端的视频流数据;
对视频流数据在接收端的等待时间进行统计,得到第一等待时间;
将第一等待时间发送给发送端,使得发送端根据第一等待时间调整发送端的同步信号,其中,发送端的同步信号用于确定端视频流数据的生成时刻;
获取接收端的同步信号,根据接收端的同步信号对视频流数据进行显示。
其中一种可能的实现方式中,上述指令被上述接收端执行时,使得上述接收端执行接收发送端的视频流数据的步骤之前,还执行以下步骤:
将接收端的时钟源信息发送给发送端。
其中一种可能的实现方式中,上述指令被上述接收端执行时,使得上述接收端执行对视频流数据在接收端的等待时间进行统计,得到第一等待时间的步骤包括:
获取预置数目的第一视频流数据,将第一视频流数据中的每一帧视频流数据在接收端的等待时间与多个预置的时间区间对应;
获取与最多视频流数据对应的第一时间区间,根据第一时间区间内的每一帧视频流数据的等待时间进行均值计算,得到第一等待时间。
其中一种可能的实现方式中,上述指令被上述接收端执行时,使得上述接收端执行对视频流数据在接收端的等待时间进行统计,得到第一等待时间的步骤包括:
获取预置时间段内的第一视频数据分块,统计第一视频数据分块中的所有分块在接收端的等待时间的第一均值;
将第一均值与预置第一时间阈值进行比较;
若第一均值大于或等于预置第一时间阈值,对第一均值与预置第一时间阈值进行差值计算,得到第一等待时间。其中一种可能的实现方式中,上述指令被上述接收端执行时,使得上述接收端执行将第一等待时间发送给发送端的步骤包括:
将第一等待时间与预置第二时间阈值进行比较;
若第一等待时间大于或等于预置第二时间阈值,将第一等待时间发送给所述发送端。
本申请实施例还提供一种发送端,包括:
存储器,上述存储器用于存储计算机程序代码,上述计算机程序代码包括指令,当上述发送端从上述存储器中读取上述指令,以使得上述发送端执行以下步骤:
获取发送端的同步信号,根据发送端的同步信号生成视频流数据;
将视频流数据发送至接收端;
接收接收端的第一等待时间,根据第一等待时间调整发送端的同步信号,使得发送端根据调整后的发送端的同步信号发送视频流数据。
其中一种可能的实现方式中,上述指令被上述发送端执行时,使得上述发送端执行将视频流数据发送至接收端的步骤包括:
将视频流数据进行分块,并将视频流数据的每个分块依次发送给接收端。
其中一种可能的实现方式中,上述指令被上述发送端执行时,使得上述发送端执行将视频流数据的每个分块依次发送给接收端的步骤包括:
将视频流数据的每个分块进行分层编码,分别得到第一图层分块及第二图层分块;
依次将第一图层分块及第二图层分块发送至接收端。
第四方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如第一方面所述的方法。
第五方面,本申请实施例提供一种计算机程序,当上述计算机程序被计算机执行时,用于执行第一方面所述的方法。
在一种可能的设计中,第五方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上,也可以部分或者全部存储在不与处理器封装在一起的存储器上。
附图说明
图1为本申请实施例提供的同步显示示意图;
图2为本申请实施例提供的应用场景示意图;
图3为本申请提供的同步显示方法一个实施例的流程示意图;
图4为本申请提供的同步显示方法另一个实施例的流程示意图;
图5为本申请提供的同步显示装置一个实施例的结构示意图;
图6为本申请提供的同步显示装置另一个实施例的结构示意图;
图7为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
如图1所示为手机投屏至电视的同步显示示意图,参考图1,手机和电视的同步信号相差时间间隔T,即手机和电视的时钟源相差一个时间间隔T,假设手机和电视的每秒传输帧数(Frames Per Second,FPS)为60fps,则两个帧之间的时间间隔为16.6ms,即显示周期为16.6ms,而由于网络传输时间是不可控的,由上述原因导致手机的视频帧到达电视的时刻不可控,因此在视频帧进行解码之后可能需要一个等待时间才能到达同步信号对应的显示时刻,即到达该同步信号对应的显示时刻才能显示该视频帧,由此会造成手机和电视的显示的不同步。
基于上述问题,本申请实施例提出了一种同步显示方法。
如图2所示为本申请实施例的应用场景,参考图2,发送端210可以包含无线通信模块211、视频编码模块212、同步信号模块213及视频流数据生成模块214,其中,视频流数据生成模块214用于在发送端生成视频流数据,同步信号模块213用于产生同步信号源,该同步信号源可以用于触发投屏业务的启动,即可以根据该同步信号源周期性的生成视频流数据,视频编码模块212用于对视频流数据进行编码,无线通信模块211用于与接收端建立数据传输通道,以便将编码后的视频流数据发送给接收端,其中,该无线通信模块211可以包括WIFI模块、蓝牙模块以及其他具有同等无线通信功能的模块,本申请实施例对此不作限定;接收端220可以包含无线通信模块221、视频解码模块222、同步信号模块223及视频显示模块224,其中,无线通信模块221用于与发送端建立数据传输通道,以便接收发送端的视频流数据,视频解码模块222用于对接收到的视频流数据进行解码,同步信号模块223用于产生同步信号源,并根据该同步信号源周期性的将解码后的视频流数据发送至接收端的视频显示模块224进行显示。
本申请实施例提供的技术方案可应用于发送端和接收端,该发送端可以是移动终端,移动终端也可以称为终端设备、用户设备(User Equipment,UE)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。移动终端可以是WLAN中的站点(STAION,ST),可以是蜂窝电话、无绳电话、会话启动协议(Session Initiation Protocol,SIP)电话、无线本地环路(Wireless LocalLoop,WLL)站、个人数字处理(Personal Digital Assistant,PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(set top box,STB)、用户驻地设备(customer premise equipment,CPE)和/或用于在无线系统上进行通信的其它设备以及下一代通信系统,例如,5G网络中的移动终端或者未来演进的公共陆地移动网络(Public Land Mobile Network,PLMN)网络中的移动终端等。该接收端可以是显示设备,该显示设备可以包括大屏、智慧屏及扩展屏等具有显示功能的设备。
现结合图3和图4对本申请实施例提供的同步显示方法进行说明,如图3所示为本申请同步显示方法一个实施例的流程图,包括:
步骤101,发送端根据发送端同步信号生成视频流数据,并将该视频流数据发送给接收端。
具体地,该视频流数据可以包括流媒体信息中的画面数据,其中,在发送端可以根据视频流数据生成模块214生成每一帧画面数据,该画面数据的生成可以由同步信号确定,即该同步信号可以用于确定每一帧画面数据的生成时刻,也就是说,该同步信号对应的是对图像进行抓取的时刻;此外,该同步信号也可以是周期性的,该同步信号的周期可以根据每秒传输帧数(Frames Per Second,FPS)确定,示例性的,假设每秒传输帧数为60fps,则该周期为16.6ms,即每16.6ms生成一帧画面数据;因此,前后两个同步信号的时间间隔可以是一个周期,而每个同步信号的时刻可以根据发送端的时钟源确定。
需要说明的是,该画面数据生成之后,还可以通过视频编码模块212对该画面数据进行编码,以便于将该画面数据通过无线通信模块211在无线通信网络的通道上传输,并发送给接收端,其中,该无线通信网络的方式可以是WIFI、蓝牙,也可以是其他短距无线网络的方式,本申请实施例对此不作限定;在发送端对视频流数据进行发送的过程中,可以通过整帧合成的方式,示例性的,可以将每一帧画面数据整个发送给接收端,以便接收端可以对整帧画面数据进行合成。
步骤102,接收端接收发送端的视频流数据,统计该视频流数据的等待时间,并将等待时间均值发送给发送端。
具体地,在接收端接收到发送端的视频流数据后,可以将该视频流数据送至视频显示模块224进行显示;需要说明的是,在接收端可以通过无线通信模块221接收来自发送端的视频流数据,由于该视频流数据在发送端是经过编码压缩的,因此,在接收端也可以通过视频解码模块222对该视频流数据进行解码及解压缩,示例性的,通过对该视频流数据进行解码及解压缩,可以得到原始的YUV数据;此外,可选地,还可以对视频流数据进行解码及解压缩后还可以进行视频后处理,其中,该视频后处理可以包括切片缝合及视频增强等操作。
当对视频流数据进行解码及解压缩后,可以将解码及解压缩后的视频流数据发送至视频显示模块224进行显示,需要说明的是,对该视频流数据的显示是需要根据同步信号进行的,即在接收端需要等到同步信号的显示时刻才能对当前解码后的视频流数据进行显示,因此,若当前的帧不是处在同步信号的显示时刻,则该帧的画面数据需要一个等待时间才能在接收端显示。
因此,在接收端可以预先设置一个数目阈值N,该数目阈值用于表征收到的视频帧的个数,示例性的,可以将该数目阈值N设为64,也可以设为其他数值,本申请实施例对此不作限定,然后可以分别计算获得该N个帧中每个帧的等待时间,并可以根据该等待时间统计该N个帧的等待时间的频率分布,该频率分布用于表征该等待时间对应的帧在对应时间区间内的个数,在具体实现时,可以预先划分多个时间区间,示例性的,可以划分1-2ms一个区间,2-3ms一个区间,3-4ms一个区间,4-5ms一个区间等等,然后将每个帧的等待时间划分到对应的时间区间,并统计每个时间区间内的帧的个数,接着可以计算帧个数最多的时间区间的时间均值,其中,该时间均值的计算方式可以是该时间区间的时间均值,示例性的,对于1-2ms的时间区间,时间均值为(1+2)/2=1.5ms;该时间均值的计算方式也可以是计算该时间区间内的所有帧的等待时间的均值;当获得该时间均值后,可以将该时间均值发送至发送端,该调整时间可以用于调整发送端的同步信号时刻,即调整视频流数据的发送时刻。
进一步地,在获得该时间均值后,还可以与预置的时间阈值进行比较,由于在接收端可能有部分视频帧在等待显示,示例性的,通常该视频帧的数量为1-2帧,由此可能发生视频帧缓存的情况,因此,某些视频帧可能等待的时间比较长,该预置的时间阈值可以设置一个较长的数值,示例性的,可以将该时间阈值设置为24ms,即可以将该时间阈值设置的比同步信号周期时间长,也可以设置为其他时长,本申请实施例对此不作限定;若该时间均值大于或等于该时间阈值,则可以将该时间均值发送给发送端,由此可以让发送端调整发送端的同步信号,使得接收端接收到发送端视频数据的时刻与接收端同步信号的显示时刻同步,即在接收端可以快速处理收到的视频帧,由此可以减少接收端的大时延视频帧的占比;若该时间均值小于该时间阈值,接收端可以不予处理。
步骤103,发送端接收接收端的等待时间均值,并根据该等待时间均值计算得到调整时间,根据该调整时间对发送端的同步信号进行调整。
具体地,当发送端接收到接收端的等待时间均值后,由于该等待时间均值可能大于同步信号周期T,因此,首先可以对该等待时间均值进行取模,并计算该周期T与该模值之间的差值,由此可以得到调整时间,该调整时间可以用于调整发送端的同步信号,即调整发送端视频流数据的生成时刻,示例性的,假设等待时间均值为T_wait_avg,则调整时间T_adj=T-(T_wait_avg mod T),即将发送端同步信号对应的时刻提前T_adj,由此可以使得发送端视频流数据到达接收端的时刻与接收端的同步信号的显示时刻同步。
如图4所示为本申请同步显示方法另一个实施例的流程图,包括:
步骤201,发送端根据发送端同步信号生成视频流数据,对视频流数据进行分块后,将分块发送给接收端。
具体地,步骤101中,在发送端对视频流数据进行发送的过程中,还可以通过分块合成的方式,示例性的,发送端可以将每一帧画面数据分成多个块,以便接收端可以对上述分块进行合成;其中,在发送端进行分块发送时,还可以将每个分块进行分层传输,即分成基本图层和增强图层进行传输,其中,该基本图层可以用于传输低分辨率的分块,该增强图层可以用于传输高分辨率的分块;在具体实现时,可以通过视频编码模块212对分块进行编码压缩,并可以通过分层编码的方式分别输出高分辨率和低分辨率的图层,然后可以先通过低分辨率的图层将低分辨率的分块发送至接收端,当低分辨率的分块全部发送至接收端后,接着再可以通过高分辨率的图层将高分辨率的分块发送至接收端,如果在预置的时间内没有将分块传输完毕,那么可以终止本次传输,示例性的,若当前的每秒传输帧数为60fps,则每帧的时间间隔为16.6ms,即约为16ms,假设将一帧图像分成4个分块,每个分块可以分别通过高分辨率的图层及低分辨率的图层发送,假设每个分块的传输时间为4ms,则当传输超过4ms后当前的分块仍没有完成传输,则可以终止当前分块的传输,以便进行下一个分块的数据传输。
可选地,在步骤101之前,接收端还可以预先发送接收端的时钟源信息给发送端,使得发送端和接收端的时钟源可以对齐,由于同步信号是根据时钟源确定的,由此可以提高发送端和接收端的同步性;其中,该时钟源信息的携带方式可以是通过一个虚拟的中断信号标识实现,也可以通过一个携带时间戳信息的数据实现;而在接收端发送该时钟源信息的过程中,可以通过对发送端视频流数据的确认信号中携带上述时钟源信息的方式实现该时钟源信息的发送,示例性的,当接收端收到发送端的视频流数据后,可以在物理层发送相应的确认信号(Acknowledge,ACK),而该确认信号中可以携带上述时钟源信息;接收端也可以通过数据包传输的方式主动向发送端发送上述时钟源信息。当发送端收到接收端的时钟源信息后,可以将该时钟源信息发送至同步信号模块213,由此使得发送端可以根据该时钟源信息调整发送端的同步信号。
步骤202,接收端接收发送端的分块,统计分块的等待时间,根据该等待时间计算得到等待时间差值,并将该等待时间差值发送给发送端。
具体地,接收端可以预先设定一个时间段,并可以计算该预定时间段内的所有接收到的分块的等待时间,然后可以计算该等待时间的时间均值;示例性的,假设选择1s内的所有分块,这时首先可以计算1s内所有接收到的分块的等待时间,然后计算出所有分块的时间均值T0,并可以将该时间均值与预置的时间阈值进行比较,当该时间均值大于或等于该时间阈值时,可以进一步计算获得该时间均值与该时间阈值的差值T1,假设T0=5ms,时间阈值=2ms,则T1=T0-2ms(时间阈值)=3ms,然后可以将该T1发送给发送端,使得发送端可以根据该T1调整发送端的同步信号。
步骤203,发送端接收接收端的等待时间差值,并根据该等待时间差值对发送端的同步信号进行调整。
具体地,当发送端收到接收端的等待时间差值T1后,可以根据该等待时间差值对发送端的同步信号进行调整,示例性的,可以将同步信号对应的时刻提前T1,即后续同步信号的每个时刻都提前T1,即将发送端的每帧画面数据的生成时刻都提前T1,由此可以使得发送端的视频流数据到达接收端的时间与接收端同步信号的显示时刻可以同步,即实现了发送端和接收端同步显示的目的。
图5为本申请同步显示装置一个实施例的结构示意图,如图5所示,上述同步显示装置50可以包括:接收模块51、统计模块52、同步模块53及显示模块54;
接收模块51,用于接收发送端的视频流数据;
统计模块52,用于对视频流数据在接收端的等待时间进行统计,得到第一等待时间;
同步模块53,用于将第一等待时间发送给发送端,使得发送端根据第一等待时间调整发送端的同步信号,其中,发送端的同步信号用于确定端视频流数据的生成时刻;
显示模块54,用于获取接收端的同步信号,根据接收端的同步信号对视频流数据进行显示。
在一种可能的实现方式中,上述装置50还可以包括:发送模块54;
发送模块54,用于将接收端的时钟源信息发送给发送端。
在一种可能的实现方式中,上述统计模块52可以包括:获取单元521及计算单元522;
获取单元521,用于获取预置数目的第一视频流数据,将第一视频流数据中的每一帧视频流数据在接收端的等待时间与多个预置的时间区间对应;
计算单元522,用于获取与最多视频流数据对应的第一时间区间,根据第一时间区间内的每一帧视频流数据的等待时间进行均值计算,得到第一等待时间。
在一种可能的实现方式中,上述统计模块52可以包括:统计单元523及比较单元524;
统计单元523,用于获取预置时间段内的第一视频数据分块,统计第一视频数据分块中的所有分块在接收端的等待时间的第一均值;
比较单元524,用于将第一均值与预置第一时间阈值进行比较;若第一均值大于或等于预置第一时间阈值,对第一均值与所述预置第一时间阈值进行差值计算,得到第一等待时间。
在一种可能的实现方式中,上述同步模块53可以包括:比较单元531及发送单元532;
比较单元531,用于将第一等待时间与预置第二时间阈值进行比较;
发送单元532,用于若第一等待时间大于或等于预置第二时间阈值,将第一等待时间发送给发送端。
图5所示实施例提供的同步显示装置可用于执行本申请图3所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
图6为本申请同步显示装置另一个实施例的结构示意图,如图6所示,上述同步显示装置60可以包括:创建模块61、发送模块62及同步模块63;
创建模块61,用于获取发送端的同步信号,根据发送端的同步信号生成视频流数据;
发送模块62,用于将视频流数据发送至接收端;
同步模块63,用于接收接收端的第一等待时间,根据第一等待时间调整发送端同步信号,使得发送端根据调整后的发送端的同步信号生成视频流数据。
在一种可能的实现方式中,上述发送模块62还可以用于将视频流数据进行分块,并将视频流数据的每个分块依次发送给接收端。
在一种可能的实现方式中,上述发送模块62可以包括:分层单元621及发送单元622;
分层单元621,用于将视频流数据的每个分块进行分层编码,分别得到第一图层分块及第二图层分块;
发送单元622,用于依次将第一图层分块及第二图层分块发送至接收端。
应理解,以上图5和图6所示的同步显示装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块以软件通过处理元件调用的形式实现,部分模块通过硬件的形式实现。例如,检测模块可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit;以下简称:ASIC),或,一个或多个微处理器(Digital Singnal Processor;以下简称:DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array;以下简称:FPGA)等。再如,这些模块可以集成在一起,以片上系统(System-On-a-Chip;以下简称:SOC)的形式实现。
图7所示的电子设备700可以是终端设备,也可以是内置于上述终端设备的电路设备,其中,发送端和接收端等电子设备可以是上述电子设备700。该设备可以用于执行本申请图1~图4所示实施例提供的方法中的功能/步骤。
如图7所示,电子设备700可以包括处理器710,外部存储器接口720,内部存储器721,通用串行总线(universal serial bus,USB)接口730,充电管理模块740,电源管理模块741,电池742,天线1,无线通信模块760,音频模块770,扬声器770A,麦克风70C,耳机接口770D,传感器模块780,按键790,马达791,指示器792,摄像头793和显示屏794等。其中传感器模块780可以包括温度传感器780J,触摸传感器780K,环境光传感器780L等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中,电子设备700可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器710可以包括一个或多个处理单元,例如:处理器710可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器710中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器710中的存储器为高速缓冲存储器。该存储器可以保存处理器710刚用过或循环使用的指令或数据。如果处理器710需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器710的等待时间,因而提高了系统的效率。
在一些实施例中,处理器710可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器710可以包含多组I2C总线。处理器710可以通过不同的I2C总线接口分别耦合触摸传感器780K,充电器,闪光灯,摄像头793等。例如:处理器710可以通过I2C接口耦合触摸传感器780K,使处理器710与触摸传感器780K通过I2C总线接口通信,实现电子设备700的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器710可以包含多组I2S总线。处理器710可以通过I2S总线与音频模块770耦合,实现处理器710与音频模块770之间的通信。在一些实施例中,音频模块770可以通过I2S接口向无线通信模块760传递音频信号,实现屏幕共享时保持通话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块770与无线通信模块760可以通过PCM总线接口耦合。在一些实施例中,音频模块770也可以通过PCM接口向无线通信模块760传递音频信号,实现屏幕共享时保持通话的的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器710与无线通信模块760。例如:处理器710通过UART接口与无线通信模块760通信,实现视频编码数据传输的功能。
MIPI接口可以被用于连接处理器710与显示屏794,摄像头793等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器710和摄像头793通过CSI接口通信,实现电子设备700的拍摄功能。处理器710和显示屏794通过DSI接口通信,实现电子设备700的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器710与摄像头793,显示屏794,无线通信模块760,音频模块770,传感器模块780等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口730是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口730可以用于连接充电器为电子设备700充电,也可以用于电子设备700与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如:增强现实(augmented reality,AR)设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备700的结构限定。在本申请另一些实施例中,电子设备700也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块740用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块740可以通过USB接口730接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块740可以通过电子设备700的无线充电线圈接收无线充电输入。充电管理模块740为电池742充电的同时,还可以通过电源管理模块741为电子设备供电。
电源管理模块741用于连接电池742,充电管理模块740与处理器710。电源管理模块741接收电池742和/或充电管理模块740的输入,为处理器710,内部存储器721,显示屏794,摄像头793,和无线通信模块760等供电。电源管理模块741还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块741也可以设置于处理器710中。在另一些实施例中,电源管理模块741和充电管理模块740也可以设置于同一个器件中。
电子设备700的无线通信功能可以通过天线1和无线通信模块760等实现。
天线1用于发射和接收电磁波信号。电子设备700中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
无线通信模块760可以提供应用在电子设备700上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块760可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块760经由天线1接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器710。无线通信模块760还可以从处理器710接收待发送的信号,对其进行调频,放大,经天线1转为电磁波辐射出去,。
在一些实施例中,电子设备700的天线1和无线通信模块760耦合,使得电子设备700可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(globalpositioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite basedaugmentation systems,SBAS)。
电子设备700通过GPU,显示屏794,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏794和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器710可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏794用于显示图像,视频等。显示屏794包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备700可以包括1个或N个显示屏794,N为大于1的正整数。
电子设备700可以通过ISP,摄像头793,视频编解码器,GPU,显示屏794以及应用处理器等实现拍摄功能。
ISP用于处理摄像头793反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头793中。
摄像头793用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备700可以包括1个或N个摄像头793,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备700在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备700可以支持一种或多种视频编解码器。这样,电子设备700可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备700的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口720可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备700的存储能力。外部存储卡通过外部存储器接口720与处理器710通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器721可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器721可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备700使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器721可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器710通过运行存储在内部存储器721的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备700的各种功能应用以及数据处理。
电子设备700可以通过音频模块770,扬声器770A,麦克风770C,耳机接口770D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块770用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块770还可以用于对音频信号编码和解码。在一些实施例中,音频模块770可以设置于处理器710中,或将音频模块770的部分功能模块设置于处理器710中。
扬声器770A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备700可以通过扬声器770A收听音乐,或收听免提通话。
麦克风770C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风770C发声,将声音信号输入到麦克风770C。电子设备700可以设置至少一个麦克风770C。在另一些实施例中,电子设备700可以设置两个麦克风770C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备700还可以设置三个,四个或更多麦克风770C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口770D用于连接有线耳机。耳机接口770D可以是USB接口730,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
环境光传感器780L用于感知环境光亮度。电子设备700可以根据感知的环境光亮度自适应调节显示屏794亮度。环境光传感器780L也可用于拍摄时自动调节白平衡。
温度传感器780J用于检测温度。在一些实施例中,电子设备700利用温度传感器780J检测的温度,执行温度处理策略。例如,当温度传感器780J上报的温度超过阈值,电子设备700执行降低位于温度传感器780J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备700对电池742加热,以避免低温导致电子设备700异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备700对电池742的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器780K,也称“触控器件”。触摸传感器780K可以设置于显示屏794,由触摸传感器780K与显示屏794组成触摸屏,也称“触控屏”。触摸传感器780K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏794提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器780K也可以设置于电子设备700的表面,与显示屏794所处的位置不同。
按键790包括开机键,音量键等。按键790可以是机械按键。也可以是触摸式按键。电子设备700可以接收按键输入,产生与电子设备700的用户设置以及功能控制有关的键信号输入。
马达791可以产生振动提示。马达791可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍摄,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏794不同区域的触摸操作,马达791也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器792可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
图7所示的电子设备700可以为手机、电视、智慧屏、平板电脑、笔记本电脑或PC等智能电子设备,本实施例对上述电子设备700的形态不作限定。该电子设备700可以用于执行本申请实施例提供的方法中的功能/步骤,具体可参见本申请方法实施例中的描述,为避免重复,此处适当省略详细描述。
本申请还提供一种电子设备,所述设备包括存储介质和中央处理器,所述存储介质可以是非易失性存储介质,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述计算机可执行程序以实现本申请图1~图4所示实施例提供的方法。
以上各实施例中,涉及的处理器可以例如包括CPU、DSP、微控制器或数字信号处理器,还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units;以下简称:NPU)和图像信号处理器(Image Signal Processing;以下简称:ISP),该处理器还可包括必要的硬件加速器或逻辑处理硬件电路,如ASIC,或一个或多个用于控制本申请技术方案程序执行的集成电路等。此外,处理器可以具有操作一个或多个软件程序的功能,软件程序可以存储在存储介质中。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory;以下简称:ROM)、随机存取存储器(Random Access Memory;以下简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。
Claims (18)
1.一种同步显示方法,应用于接收端,其特征在于,所述方法包括:
接收发送端的视频流数据;
对所述视频流数据在所述接收端的等待时间进行统计,得到第一等待时间;
将所述第一等待时间发送给所述发送端,使得所述发送端根据所述第一等待时间调整所述发送端的同步信号,其中,所述发送端的同步信号用于确定发送端视频流数据的生成时刻;
获取所述接收端的同步信号,根据所述接收端的同步信号对所述视频流数据进行显示。
2.根据权利要求1所述的方法,其特征在于,所述接收发送端的视频流数据之前,还包括:
将所述接收端的时钟源信息发送给发送端。
3.根据权利要求1或2所述的方法,其特征在于,所述对所述视频流数据在所述接收端的等待时间进行统计,得到第一等待时间包括:
获取预置数目的第一视频流数据,将所述第一视频流数据中的每一帧视频流数据在接收端的等待时间与多个预置的时间区间对应;
获取与最多视频流数据对应的第一时间区间,根据所述第一时间区间内的每一帧视频流数据的等待时间进行均值计算,得到第一等待时间。
4.根据权利要求1或2所述的方法,其特征在于,所述对所述视频流数据在所述接收端的等待时间进行统计,得到第一等待时间包括:
获取预置时间段内的第一视频数据分块,统计所述第一视频数据分块中的所有分块在接收端的等待时间的第一均值;
将所述第一均值与预置第一时间阈值进行比较;
若所述第一均值大于或等于所述预置第一时间阈值,对所述第一均值与所述预置第一时间阈值进行差值计算,得到第一等待时间。
5.根据权利要求1所述的方法,其特征在于,所述将所述第一等待时间发送给所述发送端包括:
将所述第一等待时间与预置第二时间阈值进行比较;
若所述第一等待时间大于或等于所述预置第二时间阈值,将所述第一等待时间发送给所述发送端。
6.一种同步显示方法,应用于发送端,其特征在于,所述方法包括:
获取所述发送端的同步信号,根据所述发送端的同步信号生成视频流数据;
将所述视频流数据发送至接收端;
接收所述接收端的第一等待时间,根据所述第一等待时间调整所述发送端的同步信号,使得所述发送端根据调整后的发送端的同步信号生成所述视频流数据。
7.根据权利要求6所述的方法,其特征在于,所述将所述视频流数据发送至接收端包括:
将所述视频流数据进行分块,并将所述视频流数据的每个分块依次发送给接收端。
8.根据权利要求7所述的方法,其特征在于,所述将所述视频流数据的每个分块依次发送给接收端包括:
将所述视频流数据的每个分块进行分层编码,分别得到第一图层分块及第二图层分块;
依次将所述第一图层分块及所述第二图层分块发送至接收端。
9.一种接收端,其特征在于,包括:存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括指令,当所述接收端从所述存储器中读取所述指令,以使得所述接收端执行以下步骤:
接收发送端的视频流数据;
对所述视频流数据在所述接收端的等待时间进行统计,得到第一等待时间;
将所述第一等待时间发送给所述发送端,使得所述发送端根据所述第一等待时间调整所述发送端的同步信号,其中,所述发送端的同步信号用于确定发送端视频流数据的生成时刻;
获取所述接收端的同步信号,根据所述接收端的同步信号对所述视频流数据进行显示。
10.根据权利要求9所述的接收端,其特征在于,所述指令被所述接收端执行时,使得所述接收端执行接收发送端的视频流数据的步骤之前,还执行以下步骤:
将所述接收端的时钟源信息发送给发送端。
11.根据权利要求9或10所述的接收端,其特征在于,所述指令被所述接收端执行时,使得所述接收端执行对所述视频流数据在所述接收端的等待时间进行统计,得到第一等待时间的步骤包括:
获取预置数目的第一视频流数据,将所述第一视频流数据中的每一帧视频流数据在接收端的等待时间与多个预置的时间区间对应;
获取与最多视频流数据对应的第一时间区间,根据所述第一时间区间内的每一帧视频流数据的等待时间进行均值计算,得到第一等待时间。
12.根据权利要求9或10所述的接收端,其特征在于,所述指令被所述接收端执行时,使得所述接收端执行对所述视频流数据在所述接收端的等待时间进行统计,得到第一等待时间的步骤包括:
获取预置时间段内的第一视频数据分块,统计所述第一视频数据分块中的所有分块在接收端的等待时间的第一均值;
将所述第一均值与预置第一时间阈值进行比较;
若所述第一均值大于或等于所述预置第一时间阈值,对所述第一均值与所述预置第一时间阈值进行差值计算,得到第一等待时间。
13.根据权利要求9所述的接收端,其特征在于,所述指令被所述接收端执行时,使得所述接收端执行将所述第一等待时间发送给所述发送端的步骤包括:
将所述第一等待时间与预置第二时间阈值进行比较;
若所述第一等待时间大于或等于所述预置第二时间阈值,将所述第一等待时间发送给所述发送端。
14.一种发送端,其特征在于,包括:存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括指令,当所述发送端从所述存储器中读取所述指令,以使得所述发送端执行以下步骤:
获取所述发送端的同步信号,根据所述发送端的同步信号生成视频流数据;
将所述视频流数据发送至接收端;
接收所述接收端的第一等待时间,根据所述第一等待时间调整所述发送端的同步信号,使得所述发送端根据调整后的发送端的同步信号生成所述视频流数据。
15.根据权利要求14所述的发送端,其特征在于,所述指令被所述发送端执行时,使得所述发送端执行将所述视频流数据发送至接收端的步骤包括:
将所述视频流数据进行分块,并将所述视频流数据的每个分块依次发送给接收端。
16.根据权利要求15所述的发送端,其特征在于,所述指令被所述发送端执行时,使得所述发送端执行将所述视频流数据的每个分块依次发送给接收端的步骤包括:
将所述视频流数据的每个分块进行分层编码,分别得到第一图层分块及第二图层分块;
依次将所述第一图层分块及所述第二图层分块发送至接收端。
17.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在接收端上运行时,使得所述接收端执行如权利要求1-5中任一项所述同步显示方法。
18.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在发送端上运行时,使得所述发送端执行如权利要求6-8中任一项所述同步显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010672805.6A CN113934388B (zh) | 2020-07-14 | 2020-07-14 | 同步显示方法、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010672805.6A CN113934388B (zh) | 2020-07-14 | 2020-07-14 | 同步显示方法、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113934388A true CN113934388A (zh) | 2022-01-14 |
CN113934388B CN113934388B (zh) | 2024-06-04 |
Family
ID=79273860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010672805.6A Active CN113934388B (zh) | 2020-07-14 | 2020-07-14 | 同步显示方法、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113934388B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010119015A (ja) * | 2008-11-14 | 2010-05-27 | Olympus Corp | 画像伝送装置、送信装置、受信装置および画像伝送システム |
CN101783868A (zh) * | 2010-03-24 | 2010-07-21 | 北京邮电大学 | 一种利用视频同步信号线传输用户数据的方法 |
CN101815177A (zh) * | 2010-03-11 | 2010-08-25 | 广东威创视讯科技股份有限公司 | 同步显示装置、同步显示方法及叠加拼接显示系统 |
CN105338337A (zh) * | 2011-03-21 | 2016-02-17 | 三星电子株式会社 | 显示设备及其控制方法、快门眼镜及其控制方法 |
KR20160131673A (ko) * | 2015-05-08 | 2016-11-16 | 삼성전자주식회사 | 다중 디스플레이 시스템을 구성하는 디스플레이 장치 및 그 제어 방법 |
CN106652919A (zh) * | 2016-09-09 | 2017-05-10 | 青岛海信电器股份有限公司 | 一种图像显示方法及显示装置 |
CN207560149U (zh) * | 2017-11-30 | 2018-06-29 | 天津中德应用技术大学 | 基于fpga实现线阵相机图像采集的光纤传输系统 |
CN110830678A (zh) * | 2019-11-14 | 2020-02-21 | 威创集团股份有限公司 | 一种多通道视频信号同步输出方法、装置、系统及介质 |
-
2020
- 2020-07-14 CN CN202010672805.6A patent/CN113934388B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010119015A (ja) * | 2008-11-14 | 2010-05-27 | Olympus Corp | 画像伝送装置、送信装置、受信装置および画像伝送システム |
CN101815177A (zh) * | 2010-03-11 | 2010-08-25 | 广东威创视讯科技股份有限公司 | 同步显示装置、同步显示方法及叠加拼接显示系统 |
CN101783868A (zh) * | 2010-03-24 | 2010-07-21 | 北京邮电大学 | 一种利用视频同步信号线传输用户数据的方法 |
CN105338337A (zh) * | 2011-03-21 | 2016-02-17 | 三星电子株式会社 | 显示设备及其控制方法、快门眼镜及其控制方法 |
KR20160131673A (ko) * | 2015-05-08 | 2016-11-16 | 삼성전자주식회사 | 다중 디스플레이 시스템을 구성하는 디스플레이 장치 및 그 제어 방법 |
CN106652919A (zh) * | 2016-09-09 | 2017-05-10 | 青岛海信电器股份有限公司 | 一种图像显示方法及显示装置 |
CN207560149U (zh) * | 2017-11-30 | 2018-06-29 | 天津中德应用技术大学 | 基于fpga实现线阵相机图像采集的光纤传输系统 |
CN110830678A (zh) * | 2019-11-14 | 2020-02-21 | 威创集团股份有限公司 | 一种多通道视频信号同步输出方法、装置、系统及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113934388B (zh) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110381345B (zh) | 一种投屏显示方法及电子设备 | |
CN113228701B (zh) | 音频数据的同步方法及设备 | |
CN110519632B (zh) | 投屏方法及设备 | |
CN113422903A (zh) | 拍摄模式切换方法、设备、存储介质和程序产品 | |
CN111526407B (zh) | 屏幕内容的显示方法及装置 | |
WO2022048371A1 (zh) | 跨设备音频播放方法、移动终端、电子设备及存储介质 | |
JP2023537249A (ja) | 投影データ処理方法および装置 | |
CN113709464A (zh) | 视频编码方法及相关设备 | |
CN114422340A (zh) | 日志上报方法、电子设备及存储介质 | |
CN114339429A (zh) | 音视频播放控制方法、电子设备和存储介质 | |
CN113497851B (zh) | 控制显示方法及电子设备 | |
CN115134640A (zh) | 同步播放方法及装置 | |
WO2023273763A1 (zh) | 一种视频数据的传输方法及装置 | |
CN112469012A (zh) | 一种蓝牙通信方法及相关装置 | |
WO2022111712A1 (zh) | 一种音频与视频同步的方法及设备 | |
CN113923528B (zh) | 屏幕共享方法、终端和存储介质 | |
CN113934388B (zh) | 同步显示方法、终端及存储介质 | |
CN117440194A (zh) | 一种投屏画面的处理方法及相关装置 | |
CN115145517A (zh) | 一种投屏方法、电子设备和系统 | |
CN113473216A (zh) | 数据传输方法、芯片系统及相关装置 | |
CN114125554B (zh) | 一种编解码方法、装置及系统 | |
CN113810595B (zh) | 视频拍摄的编码方法、设备和存储介质 | |
CN114449492B (zh) | 数据传输方法及终端设备 | |
CN116918336A (zh) | 一种直播方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |