CN105100134A - 屏幕共享缓存管理 - Google Patents
屏幕共享缓存管理 Download PDFInfo
- Publication number
- CN105100134A CN105100134A CN201410175800.7A CN201410175800A CN105100134A CN 105100134 A CN105100134 A CN 105100134A CN 201410175800 A CN201410175800 A CN 201410175800A CN 105100134 A CN105100134 A CN 105100134A
- Authority
- CN
- China
- Prior art keywords
- memory cell
- priority
- client
- memory
- buffer memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Multimedia (AREA)
Abstract
一种管理缓存系统，包括：缓存存储器，用于通过上行链路从传输客户端接收存储单元和通过多个下行链路可把存储单元下载到接收客户端，每个存储单元包括可解码视频单元并具有优先级，和控制器处理器，用于当满足下列条件时，清除其中一个存储单元的缓存存储器：这个缓存单元没有下载到任何接收客户端，这个缓存单元目前没有进行清除排除而且另一缓存单元现在驻留在缓存中、具有比这个存储单元优先级高的优先级并且在这个缓存单元后到达缓存中。还描述了相关的装置和方法。
Description
技术领域
本发明涉及屏幕共享，尤其是涉及屏幕共享缓存的管理。
背景技术
通过引进，实时屏幕共享已经成为多种协作产品必须具有的功能。随着移动设备的迅速发展，这种流行度已经给协作产品带来了新的挑战。协作产品通常要求不同类型设备、服务供应商和产品的互操作性、支持多点通信的并发性和增强供应商和客户的商业价值的适应性。
发明内容
一种管理缓存系统，包括：缓存存储器，用于通过上行链路从传输客户端接收多个存储单元，每个存储单元包括可解码视频单元，每个存储单元具有选自多个优先级的优先级，并且使存储单元能够通过多个下行链路下载到接收客户端使得对于一个所述接收客户端具有一条所述下行链路；和控制器处理器，用于当满足下列条件时，清除缓存存储器中的一个存储单元：所述一个存储单元没有正在下载到任何所述接收客户端；所述一个存储单元当前未被纳入清除排除；以及现在在所述缓存存储器中驻留有在所述一个存储单元之后到达所述缓存存储器中的具有比所述一个存储单元的优先级更高的优先级的另一个所述存储单元。
附图说明
通过下面的详细描述并结合附图将更全面领会和理解本发明，其中：
图1为根据本发明的实施方式构建和操作的管理缓存系统的半图示半方框图；
图2为示出图1的管理缓存系统加入新客户端的半图示半方框图；
图3为两个客户端从图1的管理缓存系统下载存储单元的半图示半方框图；
图4为示出图1的管理缓存系统中视频解码依赖规则的半图示半方框图；
图5为图3的两个客户端在传输客户端给图1的管理缓存系统上传存储单元的同时下载两个不同存储单元的半图示半方框图；
图6为示出图1的管理缓存系统中清除存储单元中的一个的半图示半方框图；
图7为图3的两个客户端在图3的传输客户端给图1的管理缓存系统上传另一存储单元的同时下载两个存储单元的半图示半方框图；
图8为图3的两个客户端下载两个存储单元的半图示半方框图；
图9为图1的管理缓存系统中静态情况的半图示半方框图；
图10为图1的管理缓存系统中在静态情况过程中加入新客户端的半图示半方框图；
图11为图10的新客户端从图1的管理缓存系统下载下一个存储单元的半图示半方框图；
图12为图1的管理缓存系统中在静态情况过程中加入另一新客户端的半图示半方框图；
图13为给图1的管理缓存系统上传新存储单元的半图示半方框图；
图14为图1的管理缓存系统中清除存储单元的半图示半方框图；
图15为图1的管理缓存系统中丢包的半图示半方框图；
图16为图1的管理缓存系统中进一步清除的半图示半方框图；
图17为图1的管理缓存系统中上传优先级最高的存储单元的半图示半方框图；
图18为图1的管理缓存系统中加入另一新客户端的半图示半方框图；和
图19为图1的管理缓存系统中清除排除(exclusion)的半图示半方框图。
具体实施方式
现在参照图1，其为根据本发明的实施方式构建和操作的管理缓存系统10的半图示半方框图。
图1示出了客户端12给另外两个客户端14共享屏幕16。通过管理缓存系统10辅助实现屏幕共享。将理解的是，屏幕16的内容可在很长一段时间频繁变化或保持不变。
当使用一些类型的标准化视频格式来传输屏幕内容时，管理缓存系统10可增强协作产品互操作性。标准化的视频格式可能比个人视频格式需要更多的带宽。应注意的是，管理缓存系统10还可使用个人视频格式实现。
如将结合图3到图19详细描述的那样，管理缓存系统10可增强各种客户端处理和上传/下载能力的协作产品互操作性以及网络稳定性。
现在参照图2，其为图1的管理缓存系统10加入新客户端18的半图示半方框图。
如将结合图3到图19详细描述的那样，当新客户端18加入通信时，管理缓存系统10通过避免服务质量下降精心设计的机制可增强协作产品并发性。管理缓存系统10通常在使协作系统整体用户体验的下降最小化的同时，处理个人客户端14，18的请求。如将结合图3到图19详细描述的那样，管理缓存系统10通常通过使得传输客户端12尽可能少的依赖接收客户端14，18的反馈但同时满足个人接收客户端14，18的请求，来使接收客户端14，18和传输客户端12之间的依赖性最小。
新客户端18通常需要随机接入点作为起始点，从起始点解码表示传输客户端12屏幕的视频。对随机接入点、尤其是新加入的客户端18的快速响应可成为协作产品的亮点。另一方面，发出新随机接入点可能会对所有现有的参与者12，14带来不利影响。如将结合图3到图19详细描述的那样，管理缓存系统10具有处理随机接入点可用性的独特方法。
现在参考图3，其为两个客户端14从图1的管理缓存系统10下载存储单元20的半图示半方框图。
管理缓存系统10包括控制器处理器22和缓存存储器24。
缓存存储器24通常用于通过上行链路从传输客户端12接收多个存储单元(SU)26。图3示出通过上行链路从传输客户端12的预先接收的两个存储单元26(SU#1和SU#2)。每个存储单元26通常包括至少一个可解码视频单元或视频帧或片段。通过示例，当采用H.264视频编码标准时，一个存储单元26通常包括接入单元(AU)，并且如果使用RTP分包标准，每个存储单元26通常包括AU的一个或多个RTP包。
每个存储单元26通常具有选自多个优先级的优先级。图3示出了SU#1的优先级P为0，SU#2的优先级P为2。
在图3到图19的示例中，优先级0为最高优先级，优先级1为第二高优先级，以此类推。
缓存存储器24通常用于通过上行链路从传输客户端12接收存储单元26，其中每个存储单元26已被分配存储单元26的优先级。优先级可通过传输客户端12的编码器(未示出)或另一与编码器操作连接的元件分配。
或者，仅出于示例，优先级可通过管理缓存系统10或操作设置在传输单元12和管理缓存系统10之间的元件分配。
Koninkl飞利浦电子NV的PCT专利申请体系第WO2002102083号名为“创建多优先级流的系统和方法(Systemandmethodforcreatingmulti-prioritystreams)”描述了一种给根据MPEG-2视频编码标准编码的视频帧分配优先级的方法。
在H.264/AVC中，分配帧优先级的直观方式是从映射语法“nal_ref_idc”的值映射优先级。当nal_ref_idc为0时，帧不作为参考，因此应分配比nal_ref_idc大于0的帧更低的优先级。也可使用片段类型分配优先级。IDR帧可分配最高优先级，而P帧可被分配比IDR帧低但比B帧高的优先级。优先级可通过每个帧的临时ID映射。
在H.265中，优先级可通过帧的NAL类型映射。
在H.264/H.265中，由于没有单个语法以比特流表示长期参考(LTR)帧，可给长期参考帧分配比普通P/B帧高的优先级。
缓存存储器24通常用于可通过多个下行链路从缓存存储器24把存储单元26下载到多个接收客户端14，以使每个接收客户端14有一条下行链路。仅出于示例，缓存存储器24到接收客户端14的下行链路还可通过级联网络结构中的第二服务器或(超级)节点。
控制器处理器22用于根据缓存存储器24中接收的存储单元26的接收时间存储缓存存储器24中接收的存储单元26。
图3示出了两个接收客户端14同时下载同一存储单元26(SU#2)。
一旦接收客户端14已经完成下载特定存储单元26后，其开始下载在更新的存储单元26的缓存存储器24中的优先级最高的更新的存储单元26。更新的存储单元26被定义为特定存储单元26之后达到的存储单元26。因此，如果下一个存储单元26具有优先级3并且随后的存储单元26具有优先级2，则接收客户端14将跳过下载优先级为3的存储单元26而下载优先级为2的存储单元26。这种行为结合图5到图19尤其是结合图14和图15变现得很清楚。应注意的是，可能会在开始下载存储单元26中的一个前或甚至正在下载存储单元26中的一个时跳过下载这个存储单元26，以使为了下载优先级更高的更新的存储单元26，取消下载这个存储单元26。
控制器处理器22用于保持驻留在缓存存储器24中每个存储单元26的并发下载数量计数。换言之，当接收客户端14开始下载存储单元26时，特定存储单元26的计数增加1，当接收客户端14完成下载存储单元26时，特定存储单元26的计数减少1。应注意的是，完成下载并不一定意味着成功下载存储单元26的所有数据。除了保持并发下载数量的计数，控制器处理器22可用于保持驻留在缓存存储器24中每个存储单元26的下载列表。
从上面的描述可以看出，传输客户端12通常用于通过管理缓存系统10给使用存储单元26的接收客户端14共享显示屏幕内容。如果屏幕内容变化，传输客户端12通常用于给缓存存储器24传输新存储单元26，而如果屏幕内容没有变化，传输客户端12通常不生成传输给缓存存储器24的任何存储单元26。
现在对清除缓存存储器24进行描述。
当满足所有下列条件时，控制器处理器22被操作用于清除缓存存储器24中的存储单元26：(a)存储单元26不是正在下载到任何接收客户端14；(b)存储单元26目前没有被进行清除排除；和(c)另一存储单元26现在驻留在缓存存储器24中，该存储单元26的优先级比上述存储单元26的优先级高，并在上述存储单元26后到达存储存储器24中(不一定是紧接着上述存储单元26后)。结合图19对清除排除进行详细描述。
图3未示出从缓存存储器24清除的任何存储单元26，因为SU#1具有最高优先级(优先级0)，SU#2正在被下载。优先级为0的存储单元26通常只有在缓存存储器23成功接收另一优先级为0的存储单元时被清除。
管理缓存系统10可根据任何合适的视频编码标准(比如：仅出于示例的H.264/AVC，H.265)的混合视频编码方案或根据个人编码方案实现。
管理缓存系统10通常把传输客户端12的要求与接收客户端14的请求区分开，从而允许最大并发性。
管理缓存系统10可基于管理缓存系统10的使用和清除规则适应不同接收客户端14的需要。
结合图4到图19详细示出了上述各个方面。
现在参考图4，其为示出图1的管理缓存系统10中视频解码依赖规则的半图示半方框图。
混合视频编码方案通过使用帧间预测实现了高编程效率，但是也引入了帧之间的依赖性。当混合视频编码器用于编码视频内容时，比如根据一些合适的规则，但是不限于下面的引用的规则，帧间预测的关系可符合优先级。本领域的技术人员将理解的是，在没有依赖性/优先级规则的情况下，混合视频编码方案产生的比特流也能与管理缓存系统10正常工作，但是，在这种情况下，可能需要更精细地控制管理缓存系统10，以避免清除存储单元26造成错误传播。可通过在不同时期灵活启用/禁止不同清除排除来实现精细控制。下面结合图19对清除排除进行详细描述。
在混合视频编码方案中，可采用下列规则：
(a)出于视频解码的目的，每个存储单元26不应依赖更低优先级的存储单元26。对于示例，见图4的帧A和B。
(b)存储单元26可依赖相同优先级的存储单元26，但是不可依赖优先级更高的存储单元26之前的存储单元。换言之，出于视频解码的目的，存储单元X可依赖于具有与存储单元X相同优先级的一个或多个存储单元Y，只要缓存存储器24不包括在缓存存储器24中接收的存储单元X之前接收的和在存储单元Y之后接收的任何优先级比该存储单元X更高的存储单元Z。比如：见图4的帧B和C根据该规则合法，帧A、E和F根据该规则不合法。
(c)包括可独立编码的视频单元的存储单元26被分配最高优先级。比如：H.264标准的IDR帧和MEPG-2的I帧被分配优先级0。
现在参照图5，其为图3的两个客户端14在传输客户端12给图1的管理缓存系统10上传存储单元26的同时下载两个不同存储单元26的半图示半方框图。
接收客户端28(接收客户端14中的一个)下载SU#2比接收客户端30(接收客户端14中的一个)更慢。因此，在接收客户端28仍在下载SU#2的同时，接收客户端30已经完成下载SU#2和之后开始的下载SU#3。
同时，传输客户端12给缓存存储器24上传SU#4。
现在参考图6，其为图1的管理缓存系统10中清除其中一个存储单元26(SU#2)的半图示半方框图。
一旦接收客户端28已经完成下载SU#2后，SU#2可通过控制器处理器22从缓存存储器24被清除，因为现在更新的并且优先级比SU#2更高的存储单元26(SU#3)驻留在缓存存储器24中。
现在参考图7，其为图3的两个客户端28，30(一起标记为参考数字14)在图3的传输客户端12给图1的管理缓存系统10上传另一存储单元26(SU#5)的同时下载两个存储单元26(SU#3和SU#4)的半图示半方框图。应注意的是，上传和下载存储单元26通常不需要接收客户端14和传输客户端12之间的任何交互。
现在参考图8，其为两个客户端28，30下载两个存储单元26(分别是SU#4和SU#5)的半图示半方框图。图8示出了每个接收客户端28，30继续到下一个可用存储单元26以进行下载。当接收客户端28完成下载SU#4时，其将继续下载SU#5。如果有更新的优先级更高的存储单元26，则接收客户端28，30会跳到该存储单元进行下载，而不下载SU#4和SU#5。
现在参考图9，其为图1的管理缓存系统10中静态情况的半图示半方框图。
传输客户端12的屏幕不变，传输客户端12未生产任何新存储单元26传输到管理缓存系统10。虽然如此，基于清除规则，即使接收最新的存储单元26后有很长的延迟，控制器处理器22也不从缓存存储器24清除存储单元26(SU#1、SU#3、SU#4和SU#5)。因此，任何新加入的接收客户端14将可以从缓存存储器24下载存储单元26，从而重新创建传输客户端12正在显示的屏幕内容。因此，管理缓存系统10通过传输客户端12可以支持帧的非稳态帧率或非常规帧分布。因此，传输客户端12节省了处理能力和带宽。另外，因为当屏幕内容不变时，通常不发送储单元26，新加入的客户端具有很少的存储单元26进行下载，从而赶上如传输客户端12所示的相同屏幕内容。
现在参考图10，其为图1的管理缓存系统10中在静态情况过程中加入新客户端32的半图示半方框图。
新客户端32开始下载SU#1，该SU#1是包括在存储于缓冲存储器24中的存储单元26内的视频序列中的随机接入点。
现在参考图11，其为图10的新客户端32从图1的管理缓存系统10下载下一个存储单元26(SU#3)的半图示半方框图。
在下载SU#1后，客户端32继续下载缓存存储器24中下一个优先级最高的存储单元26，即优先级为1的SU#3。
现在参考图12，其为图1的管理缓存系统10中在静态情况过程中加入另一新客户端34的半图示半方框图。
图12示出了对来自新客户端34的请求进行响应。客户端34在客户端32继续下载SU#4的同时开始从优先级为0的SU#1下载。图12的示例应与图18的示例进行比较，在图18中，所示的新客户端下载比缓存存储器24中其他存储单元26更新的优先级为0的存储单元26。
客户端34将继续下载其他存储单元26(SU#1等)，从而赶上其他接收客户端14，32。
应注意的是，在图12(和图18)的示例中，一直都有优先级为0的存储单元26，新客户端所需的所有存储单元26捕捉传输客户端12正在显示的屏幕内容。加入屏幕共享的客户端34的动作不会妨碍传输客户端12上传新存储单元26和接收客户端14，32下载捕捉传输客户端12正在显示的屏幕内容所需的存储单元26。上述内容通常提供更好的用户体验，尤其是在当加入或连续关键图像请求频繁的大规模会议中。
应注意的是，新加入的客户端34可触发传输客户端12(比如：通过管理缓存系统10给传输客户端12发送请求)给缓存存储器24上传新关键图像(随机接入点)。但是，将理解的是，这种功能可造成一些系统退化。
现在参考图13，其为通过传输客户端12给图1的管理缓存系统上传新存储单元26(SU#6)。
现在参考图14，其为图1的管理缓存系统10中清除存储单元26(SU#4)的半图示半方框图。
一旦上传SU#6后，可以从缓存存储器24清除SU#4，因为SU#4具有优先级3，SU#6具有更高的优先级2。目前不能删除SU#5，即使其优先级比SU#4的低，因为客户端32仍在下载SU#5。
现在参考图15，其为图1的管理缓存系统10中丢包的半图示半方框图。
在缓存存储器24中下载当前存储单元26后，客户端34选择下一个优先级最高的存储单元26下载。图15示出了上述过程，这样，在客户端34完成下载SU#1后，其跳过SU#5(优先级为3)，然后继续下载优先级为2的SU#6，而客户端32仍在下载优先级为3的SU#5。
下面对丢包及其恢复进行描述。
由于大屏幕分辨率造成的大数据量使得重传输的成本会很高，在屏幕共享场景中，可靠链路可能比有损耗的网络更适合。但是，管理缓存系统10也可使用有损耗的网络。管理缓存系统10的清除机制通常能从错误中恢复并限制错误的传播。如图15所示，如果客户端32未完成下载SU#5，由于SU#6不依赖SU#5进行视频解码，错误传播在SU#6停止。客户端32可尝试重新下载SU#5或直接继续下载SU#6。
应注意的是，根据缓存存储器24的下载规则，客户端34跳过下载SU#5是计划之中的，而客户端32终止下载SU#5是由于下载错误造成的。
应注意的是，如果未能下载优先级为0的存储单元26，则优先级为0的存储单元26可重新传输，或者正在下载客户端可跳过缓存存储器24中的其他存储单元26从而下载更新的优先级为0的存储单元26，如果缓存中有的话。
现在参考图16，其为图1的管理缓存系统10中进一步清除的半图示半方框图。
图16示出了客户端32完成下载SU#5后清除SU#5。图16还示出了传输客户端12上传另一优先级为1的存储单元26(SU#7)。
现在参考图17。
图17示出了正在清除SU#6，因为SU#7的优先级比SU#6的高，并且SU#6不是正在加载中。图17还示出了接收客户端14，32，34正在下载SU#7。
图17为通过图1的管理缓存系统10中传输客户端12上传优先级最高的存储单元26(SU#8)的示意图。
现在参考图18，其为另一新客户端36加入在图1的管理缓存系统10中共享的屏幕的半图示半方框图。
图18示出了在缓存存储器24中处理SU#8。SU#8具有优先级0并且为传递视频共享的视频顺序中的随机接入点。
一旦在缓存存储器24中处理优先级为0的新存储单元26后，可从缓存存储器24清除所有先前的存储单元26(即使优先级为0)，只要存储单元26没有被下载或被纳入清除排除。因此，控制器处理器22从缓存存储器24清除SU#1、SU#3和SU#6。
新加入的客户端36开始在所有其他接收客户端14，32，34之前下载SU#8，这些其他接收客户端仍在下载依赖SU#1中先前随机接入点的SU#7。
应注意的是，传输客户端12生成随机接入点可独立于加入如图17和图18所示的屏幕共享的客户端加入如图17和图18所示的屏幕共享。这种独立性提供更好的用户体验，尤其是在当加入或连续关键图像请求频繁的大规模会议中。
现在参考图19，其为图1的管理缓存系统10中清除排除的半图示半方框图。
控制器处理器22可用于给一个或多个优先级应用清除解除，这样，所有具有解除优先级的存储单元26不会被清除。控制器处理器22可用于当比如满足一个或多个条件时，调用清除解除，但是不限于时间到期后或收到具有某个优先级的存储单元26。
通过示例，根据H.265视频编码标准，空白随机接入(CRA)帧后的帧可采用CRA帧前的非IDR帧作为参考。因此，可按照如下所述应用清除解除。具有IDR帧的存储单元26可分配优先级0。具有CRA帧的存储单元26可分配优先级1。具有不是IDR或CRA帧的参考帧的存储单元26可分配优先级2。另外，优先级为2的存储单元26可进行解除清除，直到缓存存储器24中收到下一个包括IDR的存储单元26为止。
因此，在图19的示例中，未清除SU#2，SU#2为优先级为2的存储单元26，即使SU#3具有更高的优先级1。因此，如果在SU#3达到缓存存储器24后加入新客户端，SU#2仍可用于下载，这样，其可用作SU#4的参考帧。只有在下一个优先级为0的存储单元26达到缓存存储器24后才清除SU#2。
通过另一示例，特定时期的长期参考帧(LTRF)可应用清除解除。
应注意的是，比如可通过任何合适的视频编码标准实现管理缓存系统10，但是不限于H.264AVC、H.264SVC、HEVC或VP8。
在实际应用中，可在单个物理组件中组合一些或所有这些功能，或者，可通过多个物理组件实现一些或所有这些功能。这些物理组件可包括硬接线或可编程设备或两者的组合。在有些实施方式中，在合适软件的控制下，可编程处理器可进行处理电路的至少一些功能。该软件可比如通过网络下载到电子形式的设备中。或者或另外的，软件可存储在有形非永久性计算机可读存储媒介中，比如：光学存储器、磁性存储器或电子存储器。
能理解的是，如果需要的话，本发明的软件组件可实现为只读存储器(ROM)形式。如果需要的话，通过传统技术，软件组件通常可实现为硬件形式。还能理解的是，比如：软件组件可实体化成计算机程序产品或实体化在有形媒介上。在一些情况下，尽管本发明的某些实施方式没有这种实体化，软件组件可实体化成适当计算机能判断的信号。
将理解的是，为了清晰起见，各个实施方式中描述的本发明的各种功能也可在单个实施方式中组合。相反，为了简便起见，单个实施方式中描述的本发明的各种功能也可单独提供或以任何合适的子组合形式。
本领域的技术人员将理解的是，本发明并不限于上述内容。当然，本发明的范围由所附权利要求及其等同物定义。
Claims (11)
1.一种管理缓存系统，包括：
缓存存储器，用于：
通过上行链路从传输客户端接收多个存储单元，每个所述存储单元包括可解码视频单元并具有选自多个优先级的优先级；以及
通过多个下行链路使得所述存储单元被下载到多个接收客户端，以使对于一个所述接收客户端具有一条所述下行链路；以及
控制器处理器，用于当满足下列所有条件时，清除所述缓存存储器中的一个所述存储单元：
所述一个存储单元没有正在下载到任何所述接收客户端；
所述一个存储单元当前未被纳入清除排除；以及
现在在所述缓存存储器中驻留有在所述一个存储单元之后到达所述缓存存储器中的具有比所述一个存储单元的优先级更高的优先级的另一个所述存储单元。
2.根据权利要求1的系统，其中，所述控制器处理器被操作用于根据所述缓存存储器中的所接收的存储单元的接收时间存储所述缓存存储器中的所接收的存储单元。
3.根据权利要求1的系统，其中，所述控制器处理器被操作用于维持驻留在所述缓存存储器中的每个所述存储单元的并发下载的数量的计数或列表。
4.根据权利要求1的系统，其中，包括可独立解码的视频单元的所述存储单元被分配为所述优先级中的最高优先级。
5.根据权利要求1的系统，其中，每个所述存储单元不会出于视频解码的目的而依赖优先级更低的所述存储单元。
6.根据权利要求1的系统，其中，作为存储单元X的一个所述存储单元出于视频解码的目的依赖于具有与所述存储单元X相同的优先级的作为一个或多个存储单元Y的至少一个所述存储单元，只要所述缓存存储器不包括任何优先级比所述存储单元X高，并且在所述存储单元X之前接收在所述缓存存储器中和在所述一个或多个存储单元Y之后接收的其他所述存储单元。
7.根据权利要求1的系统，其中，所述缓存存储器被操作用于通过所述上行链路从所述存储单元的优先级已经被分配给每个所述存储单元的所述传输客户端接收所述存储单元。
8.根据权利要求1的系统，其中，所述控制器处理器被操作用于给具有特定优先级的所有所述存储单元施加清除解除。
9.根据权利要求8的系统，其中，所述控制器处理器被操作用于当满足至少一个所述条件时调用所述清除解除。
10.根据权利要求1的系统，其中，所述传输客户端被操作用于与使用所述存储单元的所述接收客户端共享显示屏幕内容，如果所述内容变化，所述传输客户端被操作用于给所述缓存存储器传输一个新的所述存储单元，而如果所述内容没有变化，所述传输客户端不生成传输给所述缓存存储器的任何存储单元。
11.一种管理缓存方法，包括：
通过上行链路从传输客户端接收多个存储单元，每个所述存储单元包括可解码视频单元并具有选自多个优先级的优先级；
在缓存存储器中存储所述存储单元；
通过多个下行链路使得所述存储单元从所述缓存存储器被下载到多个接收客户端，以使对于一个所述接收客户端有一条所述下行链路；
当满足下列所有条件时，清除所述缓存存储器中的一个所述存储单元：
所述一个存储单元并未正在被下载到任何所述接收客户端；
所述一个存储到单元当前未被纳入清除排除；以及
现在在所述缓存存储器中驻留有在所述一个存储单元之后到达所述缓存存储器中的具有比所述一个存储单元的优先级更高的优先级的另一个所述存储单元。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410175800.7A CN105100134A (zh) | 2014-04-28 | 2014-04-28 | 屏幕共享缓存管理 |
| US14/272,821 US9723099B2 (en) | 2014-04-28 | 2014-05-08 | Screen sharing cache management |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410175800.7A CN105100134A (zh) | 2014-04-28 | 2014-04-28 | 屏幕共享缓存管理 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105100134A true CN105100134A (zh) | 2015-11-25 |
Family
ID=54335919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410175800.7A Pending CN105100134A (zh) | 2014-04-28 | 2014-04-28 | 屏幕共享缓存管理 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9723099B2 (zh) |
| CN (1) | CN105100134A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728987A (zh) * | 2019-10-23 | 2020-01-24 | 随锐科技集团股份有限公司 | Windows计算机实时与会共享音频的采集方法 |
Families Citing this family (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9971826B1 (en) | 2016-09-14 | 2018-05-15 | SyncRTC Inc. | Methods and apparatus for a distributed shared memory for device synchronization |
| US10147193B2 (en) | 2017-03-10 | 2018-12-04 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (HDC) |
| US11587304B2 (en) | 2017-03-10 | 2023-02-21 | Tusimple, Inc. | System and method for occluding contour detection |
| US10671873B2 (en) | 2017-03-10 | 2020-06-02 | Tusimple, Inc. | System and method for vehicle wheel detection |
| US10311312B2 (en) | 2017-08-31 | 2019-06-04 | TuSimple | System and method for vehicle occlusion detection |
| US9953236B1 (en) | 2017-03-10 | 2018-04-24 | TuSimple | System and method for semantic segmentation using dense upsampling convolution (DUC) |
| US10710592B2 (en) | 2017-04-07 | 2020-07-14 | Tusimple, Inc. | System and method for path planning of autonomous vehicles based on gradient |
| US9952594B1 (en) | 2017-04-07 | 2018-04-24 | TuSimple | System and method for traffic data collection using unmanned aerial vehicles (UAVs) |
| US10471963B2 (en) | 2017-04-07 | 2019-11-12 | TuSimple | System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle |
| US10552691B2 (en) | 2017-04-25 | 2020-02-04 | TuSimple | System and method for vehicle position and velocity estimation based on camera and lidar data |
| US10558864B2 (en) | 2017-05-18 | 2020-02-11 | TuSimple | System and method for image localization based on semantic segmentation |
| US10481044B2 (en) | 2017-05-18 | 2019-11-19 | TuSimple | Perception simulation for improved autonomous vehicle control |
| US10474790B2 (en) | 2017-06-02 | 2019-11-12 | TuSimple | Large scale distributed simulation for realistic multiple-agent interactive environments |
| US10762635B2 (en) | 2017-06-14 | 2020-09-01 | Tusimple, Inc. | System and method for actively selecting and labeling images for semantic segmentation |
| US10737695B2 (en) | 2017-07-01 | 2020-08-11 | Tusimple, Inc. | System and method for adaptive cruise control for low speed following |
| US10752246B2 (en) | 2017-07-01 | 2020-08-25 | Tusimple, Inc. | System and method for adaptive cruise control with proximate vehicle detection |
| US10303522B2 (en) | 2017-07-01 | 2019-05-28 | TuSimple | System and method for distributed graphics processing unit (GPU) computation |
| US10308242B2 (en) | 2017-07-01 | 2019-06-04 | TuSimple | System and method for using human driving patterns to detect and correct abnormal driving behaviors of autonomous vehicles |
| US10493988B2 (en) | 2017-07-01 | 2019-12-03 | TuSimple | System and method for adaptive cruise control for defensive driving |
| CN107272657B (zh) | 2017-07-21 | 2020-03-10 | 北京图森未来科技有限公司 | 实现车辆自动检修的方法及系统、相关设备 |
| CN107381488B (zh) | 2017-07-21 | 2018-12-18 | 北京图森未来科技有限公司 | 一种车辆的自动加油方法、装置和系统 |
| CN107352497B (zh) | 2017-07-21 | 2018-10-12 | 北京图森未来科技有限公司 | 一种车辆的自动加油方法、装置和系统 |
| CN107369218B (zh) | 2017-07-21 | 2019-02-22 | 北京图森未来科技有限公司 | 实现车辆自动缴费的方法及系统、相关设备 |
| CN107416754B (zh) | 2017-07-21 | 2018-11-02 | 北京图森未来科技有限公司 | 一种长途运输车辆的自动加油方法、装置和系统 |
| CN107393074B (zh) | 2017-07-21 | 2019-01-18 | 北京图森未来科技有限公司 | 实现车辆自动过卡的方法和系统、相关设备 |
| CN107403206A (zh) | 2017-07-21 | 2017-11-28 | 北京图森未来科技有限公司 | 实现车辆自动装卸货的方法及系统、相关设备 |
| CN107421615A (zh) | 2017-07-21 | 2017-12-01 | 北京图森未来科技有限公司 | 实现车辆自动称重的方法及系统、相关设备 |
| US10360257B2 (en) | 2017-08-08 | 2019-07-23 | TuSimple | System and method for image annotation |
| US11029693B2 (en) | 2017-08-08 | 2021-06-08 | Tusimple, Inc. | Neural network based vehicle dynamics model |
| US10816354B2 (en) | 2017-08-22 | 2020-10-27 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
| US10303956B2 (en) | 2017-08-23 | 2019-05-28 | TuSimple | System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection |
| US10762673B2 (en) | 2017-08-23 | 2020-09-01 | Tusimple, Inc. | 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
| US10565457B2 (en) | 2017-08-23 | 2020-02-18 | Tusimple, Inc. | Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
| US10678234B2 (en) | 2017-08-24 | 2020-06-09 | Tusimple, Inc. | System and method for autonomous vehicle control to minimize energy cost |
| US10783381B2 (en) | 2017-08-31 | 2020-09-22 | Tusimple, Inc. | System and method for vehicle occlusion detection |
| US10782693B2 (en) | 2017-09-07 | 2020-09-22 | Tusimple, Inc. | Prediction-based system and method for trajectory planning of autonomous vehicles |
| US10649458B2 (en) | 2017-09-07 | 2020-05-12 | Tusimple, Inc. | Data-driven prediction-based system and method for trajectory planning of autonomous vehicles |
| US10782694B2 (en) | 2017-09-07 | 2020-09-22 | Tusimple, Inc. | Prediction-based system and method for trajectory planning of autonomous vehicles |
| US10656644B2 (en) | 2017-09-07 | 2020-05-19 | Tusimple, Inc. | System and method for using human driving patterns to manage speed control for autonomous vehicles |
| US10953880B2 (en) | 2017-09-07 | 2021-03-23 | Tusimple, Inc. | System and method for automated lane change control for autonomous vehicles |
| US10953881B2 (en) | 2017-09-07 | 2021-03-23 | Tusimple, Inc. | System and method for automated lane change control for autonomous vehicles |
| US10552979B2 (en) | 2017-09-13 | 2020-02-04 | TuSimple | Output of a neural network method for deep odometry assisted by static scene optical flow |
| US10671083B2 (en) | 2017-09-13 | 2020-06-02 | Tusimple, Inc. | Neural network architecture system for deep odometry assisted by static scene optical flow |
| US10733465B2 (en) | 2017-09-20 | 2020-08-04 | Tusimple, Inc. | System and method for vehicle taillight state recognition |
| US10387736B2 (en) | 2017-09-20 | 2019-08-20 | TuSimple | System and method for detecting taillight signals of a vehicle |
| US10970564B2 (en) | 2017-09-30 | 2021-04-06 | Tusimple, Inc. | System and method for instance-level lane detection for autonomous vehicle control |
| US10962979B2 (en) | 2017-09-30 | 2021-03-30 | Tusimple, Inc. | System and method for multitask processing for autonomous vehicle computation and control |
| US10768626B2 (en) | 2017-09-30 | 2020-09-08 | Tusimple, Inc. | System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles |
| US10410055B2 (en) | 2017-10-05 | 2019-09-10 | TuSimple | System and method for aerial video traffic analysis |
| US10812589B2 (en) | 2017-10-28 | 2020-10-20 | Tusimple, Inc. | Storage architecture for heterogeneous multimedia data |
| US10666730B2 (en) | 2017-10-28 | 2020-05-26 | Tusimple, Inc. | Storage architecture for heterogeneous multimedia data |
| US10739775B2 (en) | 2017-10-28 | 2020-08-11 | Tusimple, Inc. | System and method for real world autonomous vehicle trajectory simulation |
| US10528851B2 (en) | 2017-11-27 | 2020-01-07 | TuSimple | System and method for drivable road surface representation generation using multimodal sensor data |
| US10657390B2 (en) | 2017-11-27 | 2020-05-19 | Tusimple, Inc. | System and method for large-scale lane marking detection using multimodal sensor data |
| US10528823B2 (en) | 2017-11-27 | 2020-01-07 | TuSimple | System and method for large-scale lane marking detection using multimodal sensor data |
| US10877476B2 (en) | 2017-11-30 | 2020-12-29 | Tusimple, Inc. | Autonomous vehicle simulation system for analyzing motion planners |
| US10860018B2 (en) | 2017-11-30 | 2020-12-08 | Tusimple, Inc. | System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners |
| EP3737595B1 (en) | 2018-01-09 | 2023-12-27 | TuSimple, Inc. | Real-time remote control of vehicles with high redundancy |
| CN111989716B (zh) | 2018-01-11 | 2022-11-15 | 图森有限公司 | 用于自主车辆操作的监视系统 |
| US11009356B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization and fusion |
| US11009365B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization |
| US10685244B2 (en) | 2018-02-27 | 2020-06-16 | Tusimple, Inc. | System and method for online real-time multi-object tracking |
| US10685239B2 (en) | 2018-03-18 | 2020-06-16 | Tusimple, Inc. | System and method for lateral vehicle detection |
| CN110378185A (zh) | 2018-04-12 | 2019-10-25 | 北京图森未来科技有限公司 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
| CN110458854B (zh) | 2018-05-02 | 2022-11-15 | 北京图森未来科技有限公司 | 一种道路边缘检测方法和装置 |
| US11104334B2 (en) | 2018-05-31 | 2021-08-31 | Tusimple, Inc. | System and method for proximate vehicle intention prediction for autonomous vehicles |
| US10839234B2 (en) | 2018-09-12 | 2020-11-17 | Tusimple, Inc. | System and method for three-dimensional (3D) object detection |
| CN112689586B (zh) | 2018-09-13 | 2024-04-16 | 图森有限公司 | 远程安全驾驶方法和系统 |
| US10796402B2 (en) | 2018-10-19 | 2020-10-06 | Tusimple, Inc. | System and method for fisheye image processing |
| US10942271B2 (en) | 2018-10-30 | 2021-03-09 | Tusimple, Inc. | Determining an angle between a tow vehicle and a trailer |
| CN116184417A (zh) | 2018-12-10 | 2023-05-30 | 北京图森智途科技有限公司 | 一种挂车夹角的测量方法、装置及车辆 |
| CN111319629B (zh) | 2018-12-14 | 2021-07-16 | 北京图森智途科技有限公司 | 一种自动驾驶车队的组队方法、装置及系统 |
| US11823460B2 (en) | 2019-06-14 | 2023-11-21 | Tusimple, Inc. | Image fusion for autonomous vehicle operation |
| EP3893150A1 (en) | 2020-04-09 | 2021-10-13 | Tusimple, Inc. | Camera pose estimation techniques |
| AU2021203567A1 (en) | 2020-06-18 | 2022-01-20 | Tusimple, Inc. | Angle and orientation measurements for vehicles with multiple drivable sections |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6359748A (ja) | 1986-08-28 | 1988-03-15 | Kawasaki Steel Corp | 電動機巻線の吸湿度測定方法 |
| US7123658B2 (en) | 2001-06-08 | 2006-10-17 | Koninklijke Philips Electronics N.V. | System and method for creating multi-priority streams |
| JP3851319B2 (ja) | 2004-03-18 | 2006-11-29 | 株式会社ブイキューブ | 画像データ送信生成システム |
| US7584201B2 (en) * | 2005-08-10 | 2009-09-01 | Qwest Communications International, Inc | Management of mobile-device data |
| US8571061B2 (en) * | 2006-07-07 | 2013-10-29 | Avaya Communications Israel Ltd. | Inter-network translation |
| JP2008236553A (ja) | 2007-03-22 | 2008-10-02 | Omron Corp | テレビ会議システムにおける端末装置、端末装置の制御方法、端末装置の制御プログラム |
| US8731152B2 (en) | 2010-06-18 | 2014-05-20 | Microsoft Corporation | Reducing use of periodic key frames in video conferencing |
| US11190310B2 (en) * | 2011-09-26 | 2021-11-30 | Texas Instruments Incorporated | Method and apparatus for CSI feedback in CoMP (coordinated multi-point) systems |
| US9035991B2 (en) | 2011-12-06 | 2015-05-19 | Mitel Networks Corporation | Collaboration system and method |
| US9232244B2 (en) | 2011-12-23 | 2016-01-05 | Cisco Technology, Inc. | Efficient frame forwarding in large scale real-time screen content sharing meetings |
| US20140009563A1 (en) * | 2012-07-03 | 2014-01-09 | Google Inc. | Non-video codecs with video conferencing |
| US10085140B2 (en) * | 2012-07-13 | 2018-09-25 | International Business Machines Corporation | Preventing mobile communication device data loss |
-
2014
- 2014-04-28 CN CN201410175800.7A patent/CN105100134A/zh active Pending
- 2014-05-08 US US14/272,821 patent/US9723099B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728987A (zh) * | 2019-10-23 | 2020-01-24 | 随锐科技集团股份有限公司 | Windows计算机实时与会共享音频的采集方法 |
| CN110728987B (zh) * | 2019-10-23 | 2022-02-11 | 随锐科技集团股份有限公司 | Windows计算机实时与会共享音频的采集方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150312370A1 (en) | 2015-10-29 |
| US9723099B2 (en) | 2017-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105100134A (zh) | 屏幕共享缓存管理 | |
| US11005702B2 (en) | Live media encoding failover system | |
| CN107743698B (zh) | 用于多路径媒体传递的方法和装置 | |
| CN110418376B (zh) | 数据传输方法及装置 | |
| TWI558180B (zh) | 用於運用容錯移轉程序支援大量用戶端之媒體傳送服務協定 | |
| EP3247121B1 (en) | Streaming media data transmission method, client and server | |
| EP3319330A1 (en) | Multicast transmission method, apparatus, and system for ott media | |
| KR101122143B1 (ko) | 수신기 버퍼 아키텍처를 나타내는 버퍼 파라미터의 시그널링 | |
| US20190089981A1 (en) | Video encoding/decoding method and device | |
| KR20040079975A (ko) | 가변 대역폭을 갖는 네트워크상에 멀티미디어 데이터를스트리밍하는 방법 | |
| US9264737B2 (en) | Error resilient transmission of random access frames and global coding parameters | |
| CN108668179B (zh) | 媒体索引文件的传输方法及相关设备 | |
| RU2689187C2 (ru) | Декодирование и синтезирование кадров для неполных видеоданных | |
| US11190773B2 (en) | Video coder-based code rate control method and device, and video server | |
| CN106385627B (zh) | 视频编码方法和装置 | |
| US20180146261A1 (en) | Message Sending Method and Device, Code Stream Processing Method and Device | |
| US9736720B2 (en) | Modifying feedback information to control a source device | |
| CN109982117B (zh) | 视频流数据的中继处理方法、装置、存储介质及网络设备 | |
| EP3342168B1 (en) | Methods and apparatus for random access of hevc bitstream for mmt | |
| US20120072942A1 (en) | Broadcast-contents management apparatus and control method for use in a broadcast-contents management apparatus | |
| CN105208435B (zh) | Iptv系统中的数据处理方法及网元设备 | |
| CN104796735B (zh) | 一种视频数据传输方法及装置 | |
| US10504482B2 (en) | Smart small form-factor pluggable (SFP) transceiver | |
| CN106534137B (zh) | 媒体流传输方法及装置 | |
| US8661078B2 (en) | Application of unreliable transfer mechanisms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151125 |