CN111818115B - 一种处理方法、装置和系统 - Google Patents

一种处理方法、装置和系统 Download PDF

Info

Publication number
CN111818115B
CN111818115B CN201910296139.8A CN201910296139A CN111818115B CN 111818115 B CN111818115 B CN 111818115B CN 201910296139 A CN201910296139 A CN 201910296139A CN 111818115 B CN111818115 B CN 111818115B
Authority
CN
China
Prior art keywords
processing center
message
information
terminal
remote processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910296139.8A
Other languages
English (en)
Other versions
CN111818115A (zh
Inventor
王峰
周国华
窦圣跃
王键
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910296139.8A priority Critical patent/CN111818115B/zh
Priority to PCT/CN2020/084329 priority patent/WO2020207487A1/zh
Priority to EP20788193.9A priority patent/EP3941021A4/en
Publication of CN111818115A publication Critical patent/CN111818115A/zh
Priority to US17/498,343 priority patent/US20220038529A1/en
Application granted granted Critical
Publication of CN111818115B publication Critical patent/CN111818115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/418—External card to be used in combination with the client device, e.g. for conditional access
    • H04N21/4183—External card to be used in combination with the client device, e.g. for conditional access providing its own processing capabilities, e.g. external module for video decoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Abstract

本申请实施例公开了一种处理方法、装置和系统，所述处理方法包括：第一终端获取第一更新请求；第一终端向远程处理中心发送第一消息、或者第一终端向本地处理中心发送第二消息；第一消息和第二消息都携带有第一更新请求对应的信息；第一终端获取本地处理中心发送的第四消息，第四消息携带有本地处理中心对第一更新信息执行预设的处理操作后得到的第二更新信息，第一更新信息是远程处理中心响应第一消息或者响应第三消息得到的信息；第一终端与本地处理中心通过无线链路进行通信；第一终端根据第四消息中携带的第二更新信息更新第一终端的输出信息。本申请实施例提供的技术方案通过使用本地处理中心实现一部分功能，这样有利于降低第一终端的成本。

Description

一种处理方法、装置和系统
技术领域
本申请涉及电子技术领域，尤其涉及一种处理方法、装置和系统。
背景技术
随着云计算的发展，在进行信息处理时，通常采用本地的终端设备加远端的远程处理中心的系统架构。这种系统架构，可以将终端设备的一部分功能通过远程处理中心来实现，这样有利于降低终端设备的成本。
比如，在虚拟现实(Virtual Reality，VR)的应用场景中，VR通过创建和体验虚拟世界的计算机仿真系统来实现的，计算机仿真系统通常利用计算机生成模拟环境，通过交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。VR系统一般由高性能计算机、VR应用、VR头戴式显示设备以及VR操控设备相互配合实现，运行VR应用时，通过VR操控设备进行VR应用的控制，并通过VR头戴式显示设备展示给用户。当前业界VR的渲染方式主要是在本地终端进行渲染，这对本地终端的中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)等硬件有很高的要求。为了降低成本，VR的云化(Cloud VR)成为必然趋势，Cloud VR将云计算、云渲染的理念及技术引入到VR业务中，借助高速稳定的网络，将远程处理中心的显示输出和声音输出经过编码压缩后传输到用户的终端设备。VR云化具有可以大幅降低用户成本、使内容体验更加丰富、以及可以加速普及VR商业场景等优点。但是，Cloud VR的时延较大，如果时延过大，会引起晕动症。为了避免引起晕动症，VR设备动作至显示(Motion to Photon，MTP)的时延应小于20ms，即人的头部发生运动到双眼所见的图像发生变化的时间差在20ms以内时，可以较好地避免晕动症的产生。为了减小时延，通常采用异步时间扭曲技术，传统的异步时间扭曲技术是由本地的终端设备来完成的，把异步时间扭曲思想应用到Cloud VR系统，称为端云异步时间扭曲技术。远程处理中心的渲染线程与终端设备的时间扭曲线程并行运行，终端设备每次刷新画面时，使用终端设备解码后获得的最后一帧作为基础进行时间扭曲。采用异步时间扭曲技术后，Cloud VR的MTP时延由终端来决定，不依赖于云渲染和网络传输等环节，因此MTP时延可大幅度降低。
但是，采用端云异步时间扭曲的Cloud VR系统，要求终端设备具有实现时间扭曲的功能，这对终端设备的硬件提出了更高的要求，增加了用户的消费成本。
发明内容
本申请实施例提供了一种处理方法、装置和系统，能够在采用云架构时，减少终端设备的成本。
第一方面，本申请实施例提供了一种处理方法，所述方法包括：第一终端获取第一更新请求；所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；所述第一终端向远程处理中心发送第一消息、或者所述第一终端向本地处理中心发送第二消息；所述第一消息和所述第二消息都携带有所述第一更新请求对应的信息，所述第二消息用于指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；所述第一终端获取所述本地处理中心发送的第四消息，所述第四消息携带有所述本地处理中心对第一更新信息执行预设的处理操作后得到的第二更新信息，所述第一更新信息是所述远程处理中心响应所述第一消息或者响应所述第三消息得到的信息；所述第一终端与所述本地处理中心通过无线链路进行通信；或者，在所述第一终端向所述本地处理中心发送所述第二消息后且所述本地处理中心对接收到的所述第一消息执行指定操作的情况下，所述第一终端获取所述远程处理中心发送的第五消息，所述第五消息携带有所述第一更新信息。所述第一终端根据所述第四消息中携带的所述第二更新信息更新所述第一终端的输出信息；或者，所述第一终端根据所述第五消息中携带的所述第一更新信息更新所述第一终端的输出信息。所述指定操作包括编码操作。
需要说明的是，本实施例提供的技术方案不仅可以应用在VR领域，也可以应用在视频点播、人工智能、增强现实等领域。所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台。
本申请实施例提供的技术方案，设置了与第一终端进行无线通信的本地处理中心，本地处理中心通过与远程处理中心进行通讯和执行预设的处理操作，分担了第一终端需要具有的处理能力，这样有利于降低第一终端的成本。
在一些可能的实施方式中，所述第一终端向所述本地处理中心发送消息时采用的无线链路与所述本地处理中心向所述第一终端发送消息时采用的无线链路不同。
需要说明的是，第一终端向所述本地处理中心发送消息时采用的无线链路与所述本地处理中心向所述第一终端发送消息时采用的无线链路也可以相同，当采用相投的无限链路时，在数据传输时可以采用时分双工或者频分双工等方式。需要说明的是第一终端与本地处理中心之间的链接方式可以为如下至少一种链接方式：无线千兆比特(WirelessGigabit，WiGig)、毫米波(millimeter Wave，mmWave)、无线保真(Wireless Fidelity，WiFi)、新无线接入技术(New Radio Access Technology，NR)、长期演进(Long TermEvolution，LTE)等。举例来说，在VR领域，作为第一终端的VR头戴式显示设备和作为本地处理中心的本地处理中心之间的信息传输，可以上下行采用相同的传输方式，例如上下行都采用WigGig。在一些实施例中，第一终端与本地处理中心上下行也可以采用不同的传输方式，例如VR头戴式显示设备向本地处理中心的上行传输采用WiFi，本地处理中心向VR头戴式显示设备的下行传输采用WiGig。VR头戴式显示设备向本地处理中心的上行传输具有数据量小且时延要求高这两个特点，如果上下行均采用mmWave传输，为了满足时延要求，时分复用需采用较高的上下行时间配比。由于上行数据量很小，频谱效率会很低。如果下行采用mmWave传输，而上行采用NR在C-Band频段传输，则上行只需占用很少的带宽资源，获得更高的频谱效率。
在VR领域，远程处理中心可以包括云渲染平台，所述第一消息包括：所述第一请求或者对所述第一请求编码后的信息；所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；所述预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
需要说明的是，第一终端获取的第一更新请求可以由第一终端直接传输至远程处理中心，也可以通过本地处理中心传输至远程处理中心，当第一终端直接将第一更新请求传输至远程处理中心时，第一终端可以具有编码解码功能，在进行处理时，第一终端对第一更新请求进行编码后发送给远程处理中心，远程处理中心处理后得到第一更新请求，远程处理中心将第一更新请求进行编码后发送给第一终端，第一终端对接收到的第一更新请求进行解码，并将解码后的信息传给本地处理中心。本地处理中心执行预设的处理操作，比如时间扭曲操作等，然后，本地处理中心将时间扭曲操作后得到的信息编码后传给第一终端，第一终端对本地处理中心传来的信息进行解码后更新第一终端显示的视频、播放的音频、控制第一终端改变其位置、或者更新第一终端输出的其他参数或者状态。
需要说明的是，在对信息进行编码是可以采用H.264、H.265，也可以采用信源信道联合编码的方式，如WHDI、WirelessHD等方式。
当第一终端获取的第一更新请求通过本地处理中心传输至远程处理中心时，本地处理中心将第一更新请求编码后发送给远程处理中心，远程处理中心处理后将处理后的结果发送给第一终端或者发送给本地处理中心，当远程处理中心将处理后的信息编码后发送给本地处理中心时，本地处理中心对远程处理中心发来的信息进行解码，然后执行预设处理操作，并将执行预设处理操作得到的信息发送给第一终端，触发第一终端更新其输出信息。
第二方面，本申请实施例提供了一种处理方法，所述方法包括：本地处理中心获取远程处理中心响应第一消息或者第三消息后得到的第一更新信息，所述第一消息为第一终端向所述远程处理中心发送的信息，所述第一消息中包括所述第一终端获取的第一更新请求的信息；所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；所述第三消息为本地处理中心响应第二消息向所述远程处理中心发送的消息，第二消息是所述第一终端向所述本地处理中心发送的消息，所述第二消息中携带有所述第一更新请求的信息，所述第二消息指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；所述本地处理中心对所述第一更新信息执行预设的处理操作后得到第二更新信息；所述本地处理中心向所述第一终端发送第四消息，所述第四消息中包括所述第二更新信息。
在一些可能的实施方式中，所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；所述第一消息包括：所述第一更新请求或者对所述第一更新请求编码后的信息；所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；所述预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
在一些可能的实施方式中，当所述本地处理中心在预设时长内未收到所述远程处理中心发送的第一更新信息时，所述方法还包括：所述本地处理中心向所述远程处理中心发送超时信息，所述超时信息用于指示所述远程处理中心进行优化操作。
第三方面，本申请提供了一种处理方法，所述方法包括：远程处理中心响应第一消息或者第三消息后得到第一更新信息，所述第一消息为第一终端向所述远程处理中心发送的信息，所述第一消息中包括所述第一终端获取的第一更新请求的信息，所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；第二消息为所述第一终端向本地处理中心发送的消息，所述第二消息用于指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；所述远程处理中心向所述本地处理中心发送携带有所述第一更新信息的消息，或者所述远程处理中心通过所述第一终端向所述本地处理中心发送携带有所述第一更新信息的消息，或者所述远程处理中心向所述第一终端发送携带有所述第一更新信息的第五消息。
在一些可能的实施方式中，所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；所述第一消息包括：所述第一更新请求或者对所述第一更新请求编码后的信息；
所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；所述预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
在一些可能的实施方式中，所述方法还包括：所述远程处理中心获取所述本地处理中心发送的超时信息，所述超时信息用于表示所述本地处理中心在预设时长内未收到所述远程处理中心发送的第一更新信息；所述远程处理中心响应所述超时信息进行优化操作，所述优化操作包括如下操作中的至少一种：所述远程处理中心对渲染操作进行优化、所述远程处理中心对传输进程进行优化、或者所述远程处理中心降低传输信息的性能参数；其中，所述远程处理中心对渲染操作进行优化包括：所述远程处理中心中断当前已超时的帧的渲染进程，结合最新的更新请求对应的帧进行渲染操作；所述远程处理中心对传输进程进行优化包括：所述远程处理中心中断当前已超时帧的传输，丢弃传输队列中除最后一帧以外的其他帧，直接传输所述最后一帧；所述远程处理中心降低传输信息的性能参数包括：所述远程处理中心降低传输的视频的分辨率或者提高视频编码的量化参数。量化参数(QP，Quantization Parameter)是视频编码的一项重要指标。量化参数决定了量化步长，而量化步长决定了量化过程的精细度：QP越小，量化步长越小，量化过程中的真实数据损失越小，视频质量越高。
第四方面，本申请实施例提供了一种处理装置，所述处理装置作为第一终端，包括：第一获取单元，用户获取第一更新请求；所述第一更新请求包括：用户的操作指令，用户的动作信息和操作指令、或者采集目标信息(比如，在增强现实等应用场景)；第一发送单元，用于向远程处理中心发送第一消息、或者用于向本地处理中心发送第二消息；所述第一消息和所述第二消息都携带有所述第一更新请求对应的信息，所述第二消息用于指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；所述第一获取单元还用于，获取所述本地处理中心发送的第四消息，所述第四消息携带有所述本地处理中心对第一更新信息执行预设的处理操作后得到的第二更新信息，所述第一更新信息是所述远程处理中心响应所述第一消息或者所述第三消息得到的信息；所述第一终端与所述本地处理中心通过无线链路进行通信；或者，在所述第一终端向所述本地处理中心发送所述第二消息后且所述本地处理中心对接收到的所述第一消息执行指定操作的情况下，所述第一终端获取所述远程处理中心发送的第五消息，所述第五消息携带有所述第一更新信息；第一处理单元，用于根据所述第四消息中携带的所述第二更新信息更新所述第一终端的输出信息；或者，用于根据所述第五消息中携带的所述第一更新信息更新所述第一终端的输出信息。所述指定操作包括编码操作。
在一些可能的实施方式中，所述第一终端向所述本地处理中心发送消息时采用的无线链路与所述本地处理中心向所述第一终端发送消息时采用的无线链路不同。
在一些可能的实施方式中，所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；所述第一消息包括：所述第一请求或者对所述第一请求编码后的信息；所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；所述预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
第五方面，本申请实施例提供了一种处理装置，所述处理装置作为本地处理中心，包括：第二获取单元，用于获取远程处理中心响应第一消息或者第三消息后得到的第一更新信息，所述第一消息为第一终端向所述远程处理中心发送的信息，所述第一消息中包括所述第一终端获取的第一更新请求的信息；所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；所述第三消息为本地处理中心响应第二消息向所述远程处理中心发送的消息，第二消息是所述第一终端向所述本地处理中心发送的消息，所述第二消息中携带有所述第一更新请求的信息，所述第二消息指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；第二处理单元，用于对所述第一更新信息执行预设的处理操作后得到第二更新信息；第二发送单元，用于向所述第一终端发送第四消息，所述第四消息中包括所述第二更新信息。
在一些可能的实施方式中，所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；所述第一消息包括：所述第一请求或者对所述第一请求编码后的信息；所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；所述预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
在一些可能的实施方式中，所述第二发送单元还用于，向所述远程处理中心发送超时信息，当所述本地处理中心在预设时长内未收到所述远程处理中心发送的第一更新信息时，所述方法还包括：所述超时信息用于指示所述远程处理中心进行优化操作。
第六方面，本申请实施例提供了一种处理装置，所述处理装置作为远程处理中心，包括：第三获取单元，用于获取第一消息或者用于获取第二消息；第三处理单元，用于响应第一消息或者第三消息后得到第一更新信息，所述第一消息为第一终端向所述远程处理中心发送的信息，所述第一消息中包括所述第一终端获取的第一更新请求的信息，所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；第二消息为所述第一终端向本地处理中心发送的消息，所述第二消息用于指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；第三发送单元，用于向所述本地处理中心发送携带有所述第一更新信息的消息，或者通过所述第一终端向所述本地处理中心发送携带有所述第一更新信息的消息，或者所述远程处理中心向所述第一终端发送携带有所述第一更新信息的第五消息。
在一些可能的实施方式中，所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；所述第一消息包括：所述第一更新请求或者对所述第一更新请求编码后的信息；所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；所述预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
在一些可能的实施方式中，所述第三获取单元还用于，获取所述本地处理中心发送的超时信息，所述超时信息用于表示所述本地处理中心在预设时长内未收到所述远程处理中心发送的第一更新信息；所述第三处理单元还用于，响应所述超时信息降低进行优化操作。
在一些可能的实施方式中，所述优化操作包括如下操作中的至少一种：所述第三处理单元对渲染操作进行优化、所述第三处理单元对传输进程进行优化、或者所述第三处理单元降低传输信息的性能参数；其中，
所述第三处理单元对渲染操作进行优化包括：所述第三处理单元中断当前已超时的帧的渲染进程，结合最新的更新请求对应的帧进行渲染操作；
所述第三处理单元对传输进程进行优化包括：所述第三处理单元中断当前已超时帧的传输，丢弃传输队列中除最后一帧以外的其他帧，直接传输所述最后一帧；
所述第三处理单元降低传输信息的性能参数包括：所述第三处理单元降低传输的视频的分辨率或者提高视频编码的量化参数。
第七方面，本申请实施例提供了一种处理系统，所述处理系统包括：第一终端、本地处理中心和远程处理中心；所述第一终端如第四方面或者第四方面任一实施例所述的处理装置。所述本地处理中心如第五方面或者第五方面任一实施例所述的处理装置。所述远程处理中心如第五方面或者第五方面任一实施例所述的处理装置。
本申请实施例提供的技术方案，设置了与第一终端进行无线通信的本地处理中心，本地处理中心通过与远程处理中心进行通讯和执行预设的处理操作，分担了第一终端需要具有的处理能力，这样有利于降低第一终端的成本。
附图说明
图1为本申请的一个实施例提供的一种处理方法的交互流程示意图。
图2A为现有技术中Cloud VR系统采用串行处理方法时的示意图。
图2B为现有技术中的时间扭曲技术的示意图。
图2C为现有技术中的异步时间扭曲技术的示意图。
图2D为现有技术中Cloud VR系统采用异步时间扭曲处理时的示意图。
图3A为本申请的一个实施例提供的Cloud VR架构示意图。
图3B为本申请的一个实施例提供的Cloud VR系统的结构示意图。
图3C为与图3B对应的Cloud VR系统的交互流程示意图。
图4A为本申请的一个实施例提供的云点播系统的结构示意图。
图4B为与图4A对应的云点播系统的交互流程示意图。
图5A为本申请的一个实施例提供的人工智能系统的结构示意图。
图5B为与图5A对应的人工智能系统的交互流程示意图。
图6A为本申请的一个实施例提供的在增强现实应用场景时对应的系统的结构示意图。
图6B为与图6A对应的人工智能系统的交互流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1，本申请实施例提供的处理方法，包括如下步骤。
101、第一终端获取第一更新请求。
所述第一更新请求包括：所述第一终端采集的用户的操作指令，或者所述第一终端采集的用户的动作信息和操作指令。举例来说，第一更新请求可以包括通过指令收集模块采集到的用户的指令(比如，用户选择的视频内容、选择的视频的清晰度等指令)，第一更新请求还可以包括VR头戴式显示设备通过动作捕捉模块获取的用户的动作信息。第一更新请求也可以包括通过信息收集模块从各类用户收集的图像、语音、动作等信息。
1021、第一终端向远程处理中心发送第一消息。
第一消息中携带有第一更新请求对应的信息。具体实施时，第一请求对应的信息可以是第一更新请求，也可以是对第一更新请求编码后的信息，还可以是对第一更新请求进行编码后的信息，也可以是对第一更新请求进行编码和压缩后的信息。
在另外一些实施例中，第一终端也可以通过本地处理中心传输包括第一更新请求的信息，比如可以采用步骤10221和10222。
10221、第一终端向本地处理中心发送第二消息。
第二消息中携带有第一更新请求对应的信息。具体实施时，第一请求对应的信息可以是第一更新请求，也可以是对第一更新请求编码后的信息，还可以是对第一更新请求进行编码后的信息，也可以是对第一更新请求进行压缩后的信息，也可以是对第一更新请求进行编码和压缩后的信息。第二消息用于指示本地处理中心向远程处理中心发送第三消息。
10222、本地处理中心向远程处理中心发送第三消息。
第三消息携带有与第一更新请求对应的需要上传至所述远程处理中心的信息。
103、远程处理中心响应所述第一消息或者响应所述第三消息得到第一更新信息。
需要说明的是，在一些可行的实施例中，远程处理中心可以将第一更新信息直接传给本地处理中心。在另一些可能的实施例中，远程处理中心可以通过第一终端将第一更新信息传给本地处理中心。本地处理中心获取第一更新信息后执行步骤104。第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；
104、本地处理中心根据所述第一更新信息经预设的处理操作得到第二更新信息。
在一些可能的实施例中，预设的处理操作可以包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
105、本地处理中心向第一终端发送携带有所述第二更新信息的第四消息。
在另外一些实施例中，在所述第一终端向所述本地处理中心发送所述第二消息后且所述本地处理中心对接收到的所述第一消息执行指定操作的情况下，第一终端也可以从远程处理中心直接获取第一更新信息，比如可以采用步骤1051，所述指定操作包括编码操作。
1051、本地处理中心获取所述远程处理中心发送的第五消息，所述第五消息携带有所述第一更新信息。
106、第一终端根据所述第四消息中携带的第二更新信息更新所述第一终端的输出信息；或者，所述第一终端根据所述第五消息中携带的所述第一更新信息更新所述第一终端的输出信息。
需要说明的是，第一终端与本地处理中心通过无线链路进行通信。第一终端向本地处理中心发送消息时采用的无线链路与所述本地处理中心向所述第一终端发送消息时采用的无线链路可以相同也可以不同。在一些可能的实施例中，远程处理中心可以包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台。
在一些可能的实施例中，当本地处理中心在预设时长内未收到所述远程处理中心发送的第一更新信息时，所述方法还可以包括：本地处理中心向远程处理中心发送超时信息，超时信息用于指示所述远程处理中心进行优化操作。优化操作包括如下操作中的至少一种：远程处理中心对渲染操作进行优化、所述远程处理中心对传输进程进行优化、或者所述远程处理中心降低传输信息的性能参数；其中，
远程处理中心对渲染操作进行优化包括：所述远程处理中心中断当前已超时的帧的渲染进程，结合最新的更新请求对应的帧进行渲染操作；
远程处理中心对传输进程进行优化包括：所述远程处理中心中断当前已超时帧的传输，丢弃传输队列中除最后一帧以外的其他帧，直接传输所述最后一帧；
远程处理中心降低传输信息的性能参数包括：所述远程处理中心降低传输的视频的分辨率或者提高视频编码的量化参数。
本申请实施例提供的技术方案，设置了与第一终端进行无线通信的本地处理中心，本地处理中心通过与远程处理中心进行通讯和执行预设的处理操作，分担了第一终端需要具有的处理能力，这样有利于降低第一终端的成本。
为了方便理解本申请的技术方案，下面结合具体应用场景进行描述。
实施例一
在该实施例中，本申请提供的处理方法应用的场景为Cloud VR。
在Cloud VR场景中，目前业界常用串行处理方法，如图2A所示，Cloud VR系统架构包括远程处理中心201和VR终端202，具体实施时，远程处理中心201与VR终端202采用串行处理方式。如图2A所示，VR终端202将获取的用户操作VR终端202触发的最新姿态与位置信息上行传输到远程处理中心201，远程处理中心201对获取的最新姿态和位置信息进行逻辑计算、实时渲染、编码压缩等操作，然后远程处理中心201将处理得到的数据下行传输至VR终端202，VR终端202对从远程处理中心201获取的数据进行解码、刷新、呈现等处理，刷新VR终端202显示的音频、视频、位置等信息。需要说明的是，采用图2A所示的串行处理方法时，MTP时延很难控制在20ms以内。
为了降低Cloud VR系统的MTP时延，现有技术提供了异步时间扭曲技术。
首先，介绍一下时间扭曲(Timewarp，TW)技术，时间扭曲又称为二次投影，是指利用过去时刻形成的渲染画面，根据当前与过去时刻的姿态与位置变化，对渲染画面进行调整，形成当前姿态与位置相应的显示画面。如图2B所示，渲染完成后，对生成的图像进行时间扭曲，然后将时间扭曲处理后的画面进行显示。此技术有如下缺点：在渲染完成后到画面显示前有足够的时间，才能完成时间扭曲。若在画面显示前没有完成渲染，则会发生丢帧现象。
为了解决丢帧问题，作为改进，现有技术提供了如图2C所示的异步时间扭曲技术，异步时间扭曲是指时间扭曲与渲染采用并行线程，如果没有及时完成渲染，则利用前一帧已渲染好的图像进行时间扭曲。由于时间扭曲线程与渲染线程并行，当渲染无法及时完成时，异步时间扭曲技术可以生成中间帧，从而解决丢帧问题。
传统的异步时间扭曲技术是在VR终端完成的，把异步时间扭曲思想应用到CloudVR系统，称为端云异步时间扭曲技术。如图2D所示，VR终端204将动作捕捉模块捕捉的动作信息上行传输给远程处理中心203，远程处理中心203对获取的信息执行计算、渲染、编码压缩等操作，远程处理中心203将处理后得到的信息下行传给VR终端204，VR终端204对从远程处理中心203获取的信息进行解码，解码后的信息与动作捕捉模块捕捉的动作信息传给时间扭曲模块执行时间扭曲操作。现有技术中，远程处理中心203的渲染线程与VR终端204的时间扭曲线程并行运行，VR终端204每次刷新画面时，使用VR终端204解码后获得的最后一帧作为基础进行时间扭曲。采用异步时间扭曲技术后，Cloud VR的MTP时延由VR终端204来决定，不依赖于云渲染和网络传输等环节，因此MTP时延可大幅度降低。但是，这种实现方式需要VR终端204具有时间扭曲的功能，对VR终端204提出了更高的要求，增加了用户的消费成本，而且，端云异步时间扭曲技术只能降低MTP时延，无法降低背景时延。当云渲染速度和下行传输速率变慢时，背景时延升高，影响用户体验。
本申请提供的技术方案可以解决上面现有技术中的缺陷，本申请提供的VR系统的架构如图3A所示。
请参见图3A，图3A对应的VR系统包括：用户终端301、本地处理中心302和远程处理中心303。用户终端301为第一终端设备。用户终端301与本地处理中心302通过无线链路进行通信，连接方式可以是无线千兆比特(Wireless Gigabit，WiGig)、或者毫米波(millimeter Wave，mmWave)等无线连接方式。
用户终端301是可以与用户直接交互的设备，可以包括如下设备中的至少一个：VR头戴式显示设备、平板电脑、人工智能设备、显示屏幕、或者无线游戏手柄等。用户终端301的功能包括如下功能中的一个或者多个：采集用户动作和指令收集，图像和语音生成、图像和语音的显示、视频的获取和显示、声音的获取和显示、图像的获取和显示等。
请参见图3B，图3B是VR系统结构示意图。其中，用户终端301包括动作捕捉模块和显示模块，本地处理中心302包括解码模块和时间扭曲模块，远程处理中心303包括计算和渲染模块以及编码模块。
用户终端301是与用户直接交互的设备,可以包括如下设备中的至少一种，VR头戴式显示设备、平板电脑、人工智能设备、显示屏幕、以及无线游戏手柄等。用户终端301的功能包括如下功能中的一个或者多个：采集用户动作和指令收集，图像和语音生成、图像和语音的显示、视频的获取和显示、声音的获取和显示、图像的获取和显示等。
用户终端301包括的动作捕捉模块用于对用户的运动信息进行收集，显示模块用于把从本地处理中心获取的视频显示给用户。
本地处理中心302是具有较强计算和处理能力的设备，可以是手机或者个人电脑等电子设备。本地处理中心302包括解码模块和时间扭曲模块等部分。解码模块对视频进行解码，时间扭曲模块对解码后的视频进行时间扭曲。时间扭曲又称为二次投影，是指利用过去时刻形成的渲染画面，根据当前与过去时刻的姿态与位置变化，对渲染画面进行调整，形成当前姿态与位置相应的显示画面。
本实施例中，通过将用户终端中计算复杂度高的模块分解到本地处理中心，降低了用户设备的成本和电池消耗。此外，本地处理中心拥有更强的处理能力，可以降低MTP时延，提升用户体验。
用户设备301向本地处理中心302传输用户动作信息，本地处理中心302向VR头戴式显示设备等用户终端301传输时间扭曲后的视频数据，二者通过无线链路进行连接，连接方式可以是WiGig、mmWave、WiFi、NR或者LTE等。用户终端301和本地处理中心302之间的信息传输，可以上下行采用相同的传输方式，例如上下行均采用WiGig进行传输；也可以上下行采用不同的传输方式，例如用户终端301向本地处理中心302的上行传输采用WiFi，本地处理中心302向用户终端301的下行传输采用WiGig。
上下行采用不同的传输方式，可能获得有益效果。例如，用户终端301向本地处理中心302的上行传输具有数据量小且时延要求高这两个特点，如果上下行均采用mmWave传输，为了满足时延要求，时分复用需采用较高的上下行时间配比。由于上行数据量很小，频谱效率会很低。如果下行采用mmWave传输，而上行采用NR在C-Band频段传输，则上行只需占用很少的带宽资源，获得更高的频谱效率。
需要说明的是，当上下行传输采用相同的技术时，可以使用时分双工，也可以使用频分双工。
本地处理中心302向远程处理中心303传输用户动作信息，远程处理中心303向本地处理中心302传输编码后的视频数据。二者的连接方式可以是固网宽带、NR、LTE等。远程处理中心303和本地处理中心302之间的信息传输，可以上下行采用相同的传输方式，例如上下行均采用固网宽带进行传输；也可以上下行采用不同的传输方式，例如本地处理中心302向远程处理中心303的上行传输采用固网宽带，远程处理中心303向本地处理中心302的下行传输采用NR。由于本地处理中心向云渲染平台的上行传输数据量很小且重要性和时延要求都很高，优先为上行传输配置更可靠的传输方式，如固网宽带等。
在一些实施例中，本地处理中心302还可以向远程处理中心303反馈超时信息，用以优化远程处理中心303的渲染和视频的传输。若本地处理中心302在预期时间内(比如17毫秒)未收到远程处理中心303发送的已编码好的视频数据，可以向远程处理中心303发送超时信息。远程处理中心303收到超时信息后，可以进行以下至少一种优化操作。
具体地，远程处理中心303结合自己的渲染进度和传输进度，判断是渲染速度还是传输速率下降。若渲染速度下降，可以中断当前已超时的帧的渲染线程，结合最新的动作信息重新进行渲染。若传输速率下降，可以中断当前已超时帧的传输，并丢弃队列中除最后一帧的其余帧，直接传输最后一帧。
在一些可能的实施例中，若采用上述优化方法后，本地处理中心302继续上报超时信息，说明渲染速度或传输速率无法满足时延要求，此时可以尝试申请更多资源。例如在远程处理中心303提升此用户的渲染线程优先级，申请更多传输资源(如增加带宽、增加发射功率等)。若系统无法为此用户分配更多资源，此时可以适当降低视频质量(如降低视频分辨率、提高视频编码的量化参数等)，从而降低渲染和传输时间，保证时延要求。
由于本地处理中心302向远程处理中心303反馈的超时信息数据量很小且重要性和时延要求都很高，优先为上行传输配置更可靠的传输方式，如固网宽带等。
远程处理中心303能提供强力云计算和云处理能力的平台，可以是阿里云或者腾讯云等。计算和渲染模块用于对用户动作信息和场景进行逻辑计算，生成视频图像。编码模块用于对生成的视频进行编码，降低视频码率。视频编码格式可以是H.264或者H.265等。
图3C所示VR系统中各组成部分之间的交互流程如图3C所示，包括如下步骤。
311、用户终端301采集用户的运动信息。
比如，用户终端301采集用户动作和指令等信息。
312、用户终端301向本地处理中心302发送采集到的用户的运动信息。
第一消息携带用户终端采集的运动信息。
313、本地处理中心302将采集到的用户的运动信息发送给远程处理中心303。
314、远程处理中心303对接收到的数据进行计算、渲染和编码。
315、远程处理中心303把编码后的视频数据发送给本地处理中心302。
316、本地处理中心302先通过解码模块对视频数据进行解码，然后结合最新的用户动作信息进行时间扭曲，获得与用户当前姿态与位置相应的视频。
317、将处理后得到的视频发送给用户终端301。
318、用户终端301收到本地处理中心302发送的视频数据后，通过显示模块展现给用户。
该实施例将现有技术里用户设备中计算复杂度高的功能的实现分解到家庭用户中心，通过这种方式，有利于降低用户终端的成本，同时也有利于降低用户终端的耗电量，延长了用户终端的续航时长。本地处理中心具有更强的处理能力，可以降低MTP时延，提升用户体验。
在图3A对应的实施例中，用户终端与远程处理中心不直接相连，用户终端获取用户动作信息后，先把此信息传输给本地处理中心，再通过本地处理中心传输给云渲染平台。需要说明的是，在一些可能的实施例中，用户终端可以和远程处理中心相连，用户终端直接向远程处理中心发送用户动作信息，连接方式可以包括NR或者LTE等。
图3B对应的系统中用户设备不包含解码模块，解码功能是在本地处理中心实现的。需要说明的是，在另外一些可能的实施方式中，用户终端可以包含解码模块且用户终端与和远程处理中心直接相连。当用户产生运动后，用户终端通过动作捕捉模块获取用户运动信息，并把此信息传输给远程处理中心。远程处理中心进行计算、渲染和编码，把编码后的视频数据发送给用户终端。用户终端通过解码模块对收到的视频进行解码，然后发送给本地处理中心。本地处理中心对收到的视频进行时间扭曲，获得与用户当前姿态与位置相应的视频并发送给用户终端显示出来。
图3A对应的VR系统，只包括一个用户终端、一个本地处理中心和一个远程处理中心。需要说明的是，VR系统不限于只包含一个用户终端、一个本地处理中心或者一个云点播平台。VR系统中一个本地处理中心可以为多个用户终端提供服务，也可以与多个远程处理中心进行交互。具体实施时，交互流程与图3C所示的交互流程类似，这里不再赘述。
在一些可能的实施例中，图3B所示VR系统中的本地处理中心可以包括编码模块，用户终端可以包括解码模块。本地处理中心进行时间扭曲后，先对视频数据进行编码，再发送给用户终端。用户终端接收到本地处理中心发送的编码后的视频后，先通过解码模块进行解码，再通过显示模块展现给用户。编码方案可以采用H.264、H.265，也可以采用信源信道联合编码的方式，如无线家庭数字接口(Wireless Home Digital Interface，WHDI)、无线高清(Wireless High Definition，WirelessHD)等编码方式。该实施方式中的用户终端具有解码功能，优点是减少了本地处理中心与用户终端之间的通信数据量。
实施例二
该实施例的应用场景是高清视频点播领域，利用视频点播系统实现高清视频点播，在该实施例中，视频点播系统包括：用户终端、本地处理中心和云点播平台，其中用户终端作为第一终端，云点播平台作为远程处理中心。
请参见图4A，图4A是视频点播系统的结构示意图。其中，云点播平台403可以包括编码模块和存储模块，编码模块用于把原始视频编码成不同分辨率的视频，存储模块用于对编码后的视频进行储存。在具体实施时，视频编码格式可以是H.264、或者H.265等格式。本地处理中心402包括解码模块，本地处理中心402是具有较强解码能力的设备，比如，可以是手机或者个人电脑等设备。本地处理中心402可以使用解码模块对云点播平台发送来的视频进行解码。用户终端401包括指令收集模块和显示模块等部分。指令收集模块对用户的指令(如用户选择视频内容、选择清晰度等指令)进行收集，显示模块把从本地处理中心获取的视频显示给用户。
用户终端401向本地处理中心402传输用户指令信息，本地处理中心402向用户终端401传输解码后的视频数据，二者通过无线链路进行连接，连接方式可以是WiGig、mmWave、WiFi、NR或者LTE等。用户终端401和本地处理中心402之间的信息传输，可以上下行采用相同的传输方式，例如上下行均采用WiGig进行传输，当上下行传输采用相同无线通信技术时，可以使用时分双工或者频分双工。用户终端401和本地处理中心402之间的信息传输，也可以上下行采用不同的传输方式，比如，用户终端401向本地处理中心402传输信息时采用WiFi，本地处理中心402向用户终端401传输信息时采用WiGig。本地处理中心402向云点播平台403传输用户指令信息，云点播平台403向本地处理中心402传输编码后的视频数据。二者的连接方式可以是固网宽带、NR或者LTE等。云点播平台403和本地处理中心402之间的信息传输上下行可以采用相同的传输方式，例如上下行可以均采用固网宽带进行传输。云点播平台403和本地处理中心402之间的信息传输也可以上下行采用不同的传输方式，如本地处理中心402向云点播平台403的上行传输采用NR，云点播平台403向本地处理中心402的下行传输采用固网宽带。
请参见图4B，图4B是视频点播系统的交互流程图。视频点播系统在进行视频点播时，包括如下步骤。
411、用户终端401通过指令收集模块获取用户要点播的视频信息。
用户要点播的视频信息可以包括：视频内容以及视频内容的分辨率等。
412、用户终端401将获取的用户要点播的视频信息传输给本地处理中心402。
413、本地处理中心402将获取的用户要点播的视频信息传输给云点播平台403。
414、云点播平台403在储存模块中找到用户点播的视频并发送给本地处理中心。
415、本地处理中心402通过解码模块对视频进行解码，然后发送给用户终端401。
416、用户终端401收到本地处理中心402发送的视频数据后，通过显示模块展现给用户。
在该实施例中，用户终端401与本地处理中心402配合进行数据传输。需要说明的是，在另外一些可能的实施例中，用户终端401可以和云点播平台403相连，用户终端401可以直接向云点播平台403发送用户指令信息，连接方式可以包括NR或者LTE等。
需要说明的是，视频点播系统中各组成部分之间进行数据传输时，可以直接传输待传输的数据，也可以对待传输的数据进行编码后再传输。
需要说明的是，视频点播系统不限于只包含一个用户终端、一个本地处理中心或者一个云点播平台。视频点播系统中一个本地处理中心可以对应多个终端设备和多个云点播平台，同样，一个视频点播系统也可以包括多个本地处理中心，各组成部分的个数不做限定，具体实施时，交互流程与图4B所示的交互流程类似，这里不再赘述。
实施例三
该实施例的应用场景是人工智能领域，人工智能系统包括：人工智能终端、本地处理中心和人工智能云平台，其中，人工智能终端作为第一终端，人工智能云平台作为远程处理中心。
请参见图5A，图5A是人工智能系统的结构示意图。其中，人工智能终端501包括信息采集模块、图像和语音生成模块、驱动模块等。信息采集模块的功能是采集信息，例如采集用户指令和当前环境信息等。图像和语音生成模块使用户输出图像和声音。驱动模块控制人工智能终端的行动。人工智能终端比如可以是家庭机器人。
本地处理中心502是具有较强计算和处理能力的设备，如手机、个人电脑等设备。本地处理中心502包括信息识别模块、储存模块和推理模块等部分。信息识别模块结合用户设定，对人工智能终端发送来的信息进行识别，判断哪些信息是可以发送给人工智能云平台503的，哪些信息只能本地使用。储存模块的功能是储存从人工智能云平台503获得的训练好的神经网络。推理模块根据储存模块中的训练好的神经网络和从人工智能终端获得的信息，推导出人工智能终端的下一步行动(包括图像显示、语音输出、动作行为等)。
人工智能云平台503包括信息收集模块、信息处理模块、训练模块等部分。信息收集模块从各类用户收集大量信息(如图像、语音、动作行为、各类行为产生的结果等)。信息处理模块对收集到的信息进行判断，过滤掉无用信息和重复信息，并对有用信息进行分类。训练模块从信息处理模块获取相应信息，进行人工智能训练，训练算法可以包括如下算法中的一种或者多种：决策树算法、神经网络算法、朴素贝叶斯算法、以及自组织映射算法等。经过训练模块的训练，人工智能云平台可以获得训练好的神经网络。
人工智能终端501向本地处理中心502传输采集到的信息(包括用户指令和当前环境信息等)，本地处理中心502向人工智能终端501传输人工智能终端的下一步行动(包括图像显示、语音输出、动作行为等)，二者通过无线链路进行连接，连接方式可以是WiGig、mmWave、WiFi、NR或者LTE等。人工智能终端501和本地处理中心502之间的信息传输，可以上下行采用相同的传输方式，例如上下行均采用WiGig进行传输；也可以上下行采用不同的传输方式，例如人工智能终端501向本地处理中心502的上行传输采用WiFi，本地处理中心502向人工智能终端501的下行传输采用WiGig。当上下行传输采用相同的技术时，可以使用时分双工，也可以使用频分双工。
本地处理中心502在获得授权的前提下，向人工智能云平台503传输用户信息，人工智能云平台503向本地处理中心502传输训练好的神经网络。二者的连接方式可以是固网宽带、NR或者LTE等。人工智能云平台和本地处理中心之间的信息传输，可以上下行采用相同的传输方式，例如上下行均采用固网宽带进行传输；也可以上下行采用不同的传输方式，如本地处理中心502向人工智能云平台503的上行传输采用NR，人工智能云平台503向本地处理中心502的下行传输采用固网宽带。
请参见图5B，图5B是人工智能系统的交互流程图。人工智能系统工作时，包括如下步骤。
511、人工智能终端的信息采集模块采集信息(包括用户指令和当前环境信息等)。
512、人工智能终端将采集到的信息传输给本地处理中心。
513、本地处理中心收到信息后，信息识别模块对信息进行识别，判断哪些信息可以发送给人工智能云平台，然后向人工智能云平台发送信息。
514、人工智能云平台通过信息收集模块从各类用户收集大量信息，信息处理模块识别出有用信息并进行分类，发送给对应的训练模块，训练模块经过训练获得训练好的神经网络。
515、人工智能云平台将训练好的神经网络发送给本地处理中心。
516、本地处理中心推理模块利用训练好的神经网络和人工智能终端发送的信息，推导出人工智能终端的下一步行动。
517、本地处理中心把行动指令发送给人工智能终端。
518、人工智能终端收到本地处理中心发送的行动指令后，通过图像和语音生成模块输出图像和声音，通过驱动模块进行运动。
在该实施例中，通过设置本地处理中心，把人工智能云平台的推理模块分解到本地处理中心，可以确保用户数据的安全性和私密性。还有利于降低时延，及时更新人工智能场景。
图5A对应的实施例中，人工智能终端与人工智能云平台不直接相连。需要说明的是，在一些可能的实施例中，人工智能终端可以和人工智能云平台相连，人工智能终端直接向人工智能云平台发送用户信息，连接方式可以是NR或者LTE等。
图5A对应的人工智能系统，只包括一个人工智能终端、一个本地处理中心和一个人工智能云平台。需要说明的是，人工智能系统不限于只包含一个人工智能终端、一个本地处理中心和一个人工智能云平台。人工智能系统中一个本地处理中心可以为多个人工智能终端提供服务，也可以与多个人工智能云平台进行交互。具体实施时，交互流程与图5B所示的交互流程类似，这里不再赘述。
可以理解的，人工智能系统中，训练需要较长时间，不会实时更新神经网络。因此，人工智能云平台和本地处理中心无需实时相连，本地处理中心可以把要发送给人工智能云平台的用户信息先储存起来。用户可自行决定人工智能云平台和本地处理中心的通信时段。
实施例四
该实施例的应用场景是增强现实领域，利用增强现实系统实现增强现实应用，在该实施例中，请参见图6A，图6A是增强现实系统的结构示意图，增强现实系统包括：增强现实眼镜601、本地处理中心602和增强现实云平台603，其中，增强现实眼镜601作为第一终端，增强现实云平台603作为远程处理中心。
增强现实云平台603包括增强现实图像/视频生成模块和编码模块等部分。增强现实图像/视频生成模块对本地处理中心602上传的图像/视频进行分析和计算，生成相应的增强现实图像/视频。编码模块对增强现实图像/视频进行编码，图像编码格式可以包括；JPEG、PNG、或者GIF等格式，视频编码格式可以包括：H.264或者H.265等格式。
本地处理中心602是拥有强解码能力的设备，如手机、个人电脑等设备。本地处理中心602包括编码模块和解码模块等部分。编码模块对增强现实眼镜601采集的图像/视频进行编码，解码模块对增强现实云平台发送来的增强现实图像/视频进行解码。图像编码格式可以包括：JPEG、PNG、或者GIF等格式，视频编码格式包括：H.264或者H.265等格式。
增强现实眼镜601包括图像/视频采集模块和显示模块等部分。图像/视频采集模块对图像/视频进行采集，显示模块把从本地处理中心602获取的增强现实图像/视频显示给用户。
增强现实眼镜601向本地处理中心602传输采集到的图像/视频，本地处理中心602向增强现实眼镜601传输解码后的增强现实图像/视频，二者通过无线链路进行连接，连接方式包括WiGig、mmWave、WiFi、NR、或者LTE等。增强现实眼镜601和本地处理中心602之间的信息传输，可以上下行采用相同的传输方式，例如上下行均采用WiGig进行传输；也可以上下行采用不同的传输方式，例如增强现实眼镜601向本地处理中心602的上行传输采用WiFi，本地处理中心602向增强现实眼镜601的下行传输采用WiGig。当上下行传输采用相同的技术时，可以使用时分双工，也可以使用频分双工。
增强现实眼镜601向增强现实云平台603传输用户指令信息，增强现实云平台603向本地处理中心602传输编码后的增强现实图像/视频。二者的连接方式包括但不限于固网宽带、NR、LTE等。增强现实云平台603和增强现实眼镜601之间的信息传输，可以上下行采用相同的传输方式，例如上下行均采用固网宽带进行传输；也可以上下行采用不同的传输方式，如增强现实眼镜601向增强现实云平台603的上行传输采用NR，增强现实云平台603向本地处理中心602的下行传输采用固网宽带。
请参见图6B，图6B是增强现实系统的交互流程图。增强现实系统在进行增强现实应用时，包括如下步骤。
611、增强现实眼镜601通过增强现实图像/视频生成模块采集图像/视频。
612、增强现实眼镜601将采集到的图像/视频传输给本利处理中心602。
613、本地处理中心602将获取的对图像/视频进行编码并传递给增强现实云平台603。
614、增强现实云平台603对本地处理中心602上传的图像/视频进行分析和计算，生成相应的增强现实图像/视频。编码模块对生成的增强现实图像/视频进行编码。
615、增强现实云平台603把编码后的增强现实图像/视频发送给本地处理中心602。
616、本地处理中心602通过解码模块对增强现实图像/视频进行解码。
617、本地处理中心602将编解码后的增强现实图像/视频发送给增强现实眼镜601。
618、增强现实眼镜601收到本地处理中心602发送的增强现实图像/视频后，通过显示模块展示出来。
需要说明的是，增强现实系统不限于只包含一个增强现实眼镜、一个本地处理中心或者一个增强现实云平台。增强现实系统中一个本地处理中心可以对应多个增强现实眼镜和多个增强现实云平台，同样，一个增强现实系统也可以包括多个本地处理中心，各组成部分的个数不做限定，可以理解的增强现实眼镜也可以是其他增强现实终端，具体实施时，交互流程与图6B所示的交互流程类似，这里不再赘述。
一般来说，由于编码的复杂度比解码的复杂度高，终端设备实现编码功能的成本高于终端设备实现解码功能的成本。为了降低增强现实眼镜的成本，在一些可能的实施例中，增强现实眼镜可以具有解码功能，但是不具有编码功能，编码功能由本地处理中心来实现。在具体实施时，增强现实眼镜可以将采集到的图像/视频直接传给增强现实云平台，或者增强现实眼镜将采集到的图像/视频传给本地处理中心，本地处理中心将编码后的图像/视频传给增强现实云平台。增强现实云平台对从本地处理中心或者增强现实眼镜获取的图像/视频信息进行分析和计算，生成相应的增强现实图像/视频。然后增强现实云平台对生成的增强现实图像/视频进行编码，并将编码后的图像/视频直接传给增强显示眼镜，增强显示眼镜对接收到的图像/视频进行解码处理，并将解码后得到的图像/视频展示出来。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
以上所揭露的仅为本发明的较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (21)

1.一种处理方法，其特征在于，所述方法包括：
第一终端获取第一更新请求；所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；
所述第一终端向远程处理中心发送第一消息、或者所述第一终端向本地处理中心发送第二消息；所述第一消息和所述第二消息都携带有所述第一更新请求对应的信息，所述第二消息用于指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；
所述第一终端获取所述本地处理中心发送的第四消息，所述第四消息携带有所述本地处理中心对第一更新信息执行预设的处理操作后得到的第二更新信息，所述第一更新信息是所述远程处理中心响应所述第一消息或者响应所述第三消息得到的信息；所述第一终端与所述本地处理中心通过无线链路进行通信；或者，在所述第一终端向所述本地处理中心发送所述第二消息后且所述本地处理中心对接收到的所述第一消息执行指定操作的情况下，所述第一终端获取所述远程处理中心发送的第五消息，所述第五消息携带有所述第一更新信息；
所述第一终端根据所述第四消息中携带的所述第二更新信息更新所述第一终端的输出信息；或者，所述第一终端根据所述第五消息中携带的所述第一更新信息更新所述第一终端的输出信息。
2.根据权利要求1所述的方法，其特征在于，
所述第一终端向所述本地处理中心发送消息时采用的无线链路与所述本地处理中心向所述第一终端发送消息时采用的无线链路不同。
3.根据权利要求1或2所述的方法，其特征在于，
所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；
所述第一消息包括：所述第一更新请求或者对所述第一更新请求编码后的信息；
所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；
所述预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
4.一种处理方法，其特征在于，所述方法包括：
本地处理中心获取远程处理中心响应第一消息或者第三消息后得到的第一更新信息，所述第一消息为第一终端向所述远程处理中心发送的信息，所述第一消息中包括所述第一终端获取的第一更新请求的信息；所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；所述第三消息为本地处理中心响应第二消息向所述远程处理中心发送的消息，第二消息是所述第一终端向所述本地处理中心发送的消息，所述第二消息中携带有所述第一更新请求的信息，所述第二消息指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；
所述本地处理中心对所述第一更新信息执行预设的处理操作后得到第二更新信息；
所述本地处理中心向所述第一终端发送第四消息，所述第四消息中包括所述第二更新信息。
5.根据权利要求4所述的方法，其特征在于，
所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；
所述第一消息包括：所述第一更新请求或者对所述第一更新请求编码后的信息；
所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；
所述预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
6.根据权利要求4或5所述的方法，其特征在于，当所述本地处理中心在预设时长内未收到所述远程处理中心发送的第一更新信息时，所述方法还包括：
所述本地处理中心向所述远程处理中心发送超时信息，所述超时信息用于指示所述远程处理中心进行优化操作。
7.一种处理方法，其特征在于，所述方法包括：
远程处理中心响应第一消息或者第三消息后得到第一更新信息，所述第一消息为第一终端向所述远程处理中心发送的信息，所述第一消息中包括所述第一终端获取的第一更新请求的信息，所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；第二消息为所述第一终端向本地处理中心发送的消息，所述第二消息用于指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；
所述远程处理中心向所述本地处理中心发送携带有所述第一更新信息的消息，或者所述远程处理中心通过所述第一终端向所述本地处理中心发送携带有所述第一更新信息的消息，或者所述远程处理中心向所述第一终端发送携带有所述第一更新信息的第五消息。
8.根据权利要求7所述的方法，其特征在于，
所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；
所述第一消息包括：所述第一更新请求或者对所述第一更新请求编码后的信息；
所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；
预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
所述远程处理中心获取所述本地处理中心发送的超时信息，所述超时信息用于表示所述本地处理中心在预设时长内未收到所述远程处理中心发送的第一更新信息；
所述远程处理中心响应所述超时信息降低进行优化操作。
10.根据权利要求9所述的方法，其特征在于，
所述优化操作包括如下操作中的至少一种：所述远程处理中心对渲染操作进行优化、所述远程处理中心对传输进程进行优化、或者所述远程处理中心降低传输信息的性能参数；其中，
所述远程处理中心对渲染操作进行优化包括：所述远程处理中心中断当前已超时的帧的渲染进程，结合最新的更新请求对应的帧进行渲染操作；
所述远程处理中心对传输进程进行优化包括：所述远程处理中心中断当前已超时帧的传输，丢弃传输队列中除最后一帧以外的其他帧，直接传输所述最后一帧；
所述远程处理中心降低传输信息的性能参数包括：所述远程处理中心降低传输的视频的分辨率或者提高视频编码的量化参数。
11.一种处理装置，其特征在于，所述处理装置作为第一终端，包括：
第一获取单元，用于获取第一更新请求；所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；
第一发送单元，用于向远程处理中心发送第一消息、或者用于向本地处理中心发送第二消息；所述第一消息和所述第二消息都携带有所述第一更新请求对应的信息，所述第二消息用于指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；
所述第一获取单元还用于，获取所述本地处理中心发送的第四消息，所述第四消息携带有所述本地处理中心对第一更新信息执行预设的处理操作后得到的第二更新信息，所述第一更新信息是所述远程处理中心响应所述第一消息或者所述第三消息得到的信息；所述第一终端与所述本地处理中心通过无线链路进行通信；或者，在所述第一终端向所述本地处理中心发送所述第二消息后且所述本地处理中心对接收到的所述第一消息执行指定操作的情况下，所述第一终端获取所述远程处理中心发送的第五消息，所述第五消息携带有所述第一更新信息；
第一处理单元，用于根据所述第四消息中携带的所述第二更新信息更新所述第一终端的输出信息；或者，用于根据所述第五消息中携带的所述第一更新信息更新所述第一终端的输出信息。
12.根据权利要求11所述的处理装置，其特征在于
所述第一终端向所述本地处理中心发送消息时采用的无线链路与所述本地处理中心向所述第一终端发送消息时采用的无线链路不同。
13.根据权利要求11或12所述的处理装置，其特征在于，
所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；
所述第一消息包括：所述第一更新请求或者对所述第一更新请求编码后的信息；
所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；
所述预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
14.一种处理装置，其特征在于，所述处理装置作为本地处理中心，包括：
第二获取单元，用于获取远程处理中心响应第一消息或者第三消息后得到的第一更新信息，所述第一消息为第一终端向所述远程处理中心发送的信息，所述第一消息中包括所述第一终端获取的第一更新请求的信息；所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；所述第三消息为本地处理中心响应第二消息向所述远程处理中心发送的消息，第二消息是所述第一终端向所述本地处理中心发送的消息，所述第二消息中携带有所述第一更新请求的信息，所述第二消息指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；
第二处理单元，用于对所述第一更新信息执行预设的处理操作后得到第二更新信息；
第二发送单元，用于向所述第一终端发送第四消息，所述第四消息中包括所述第二更新信息。
15.根据权利要求14所述的处理装置，其特征在于，
所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；
所述第一消息包括：所述第一更新请求或者对所述第一更新请求编码后的信息；
所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；
所述预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
16.根据权利要求14或15所述的处理装置，其特征在于，
所述第二发送单元还用于，向所述远程处理中心发送超时信息，当所述本地处理中心在预设时长内未收到所述远程处理中心发送的第一更新信息时，所述超时信息用于指示所述远程处理中心进行优化操作。
17.一种处理装置，其特征在于，所述处理装置作为远程处理中心，包括：
第三获取单元，用于获取第一消息或者用于获取第二消息；
第三处理单元，用于响应第一消息或者第三消息后得到第一更新信息，所述第一消息为第一终端向所述远程处理中心发送的信息，所述第一消息中包括所述第一终端获取的第一更新请求的信息，所述第一更新请求包括：所述第一终端采集的用户的操作指令、所述第一终端采集的用户的动作信息和操作指令、或者所述第一终端采集到的目标信息；第二消息为所述第一终端向本地处理中心发送的消息，所述第二消息用于指示所述本地处理中心向所述远程处理中心发送第三消息，所述第三消息携带有与所述第一更新请求对应的需要上传至所述远程处理中心的信息；
第三发送单元，用于向所述本地处理中心发送携带有所述第一更新信息的消息，或者通过所述第一终端向所述本地处理中心发送携带有所述第一更新信息的消息，或者所述远程处理中心向所述第一终端发送携带有所述第一更新信息的第五消息。
18.根据权利要求17所述的处理装置，其特征在于，
所述远程处理中心包括如下云平台中的一种或者多种：云渲染平台、云点播平台、人工智能云平台和增强现实云平台；
所述第一消息包括：所述第一更新请求或者对所述第一更新请求编码后的信息；
所述第一更新信息包括所述远程处理中心对接收到的所述第一消息或者所述第三消息通过计算和渲染得到的更新后的数据进行编码后得到的信息；
预设的处理操作包括如下操作中的一种或者多种：时间扭曲、编码、解码、人工智能推理和直接传输。
19.根据权利要求18所述的处理装置，其特征在于，
所述第三获取单元还用于，获取所述本地处理中心发送的超时信息，所述超时信息用于表示所述本地处理中心在预设时长内未收到所述远程处理中心发送的第一更新信息；
所述第三处理单元还用于，响应所述超时信息降低进行优化操作。
20.根据权利要求19所述的处理装置，其特征在于，
所述优化操作包括如下操作中的至少一种：所述第三处理单元对渲染操作进行优化、所述第三处理单元对传输进程进行优化、或者所述第三处理单元降低传输信息的性能参数；其中，
所述第三处理单元对渲染操作进行优化包括：所述第三处理单元中断当前已超时的帧的渲染进程，结合最新的更新请求对应的帧进行渲染操作；
所述第三处理单元对传输进程进行优化包括：所述第三处理单元中断当前已超时帧的传输，丢弃传输队列中除最后一帧以外的其他帧，直接传输所述最后一帧；
所述第三处理单元降低传输信息的性能参数包括：所述第三处理单元降低传输的视频的分辨率或者提高视频编码的量化参数。
21.一种处理系统，其特征在于，所述处理系统包括：第一终端、本地处理中心和远程处理中心；其中，
所述第一终端如权利要求11至13中任一项权利要求所述的处理装置；
所述本地处理中心如权利要求14至16中任一项权利要求所述的处理装置；
所述远程处理中心如权利要求17至20中任一项权利要求所述的处理装置。
CN201910296139.8A 2019-04-12 2019-04-12 一种处理方法、装置和系统 Active CN111818115B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910296139.8A CN111818115B (zh) 2019-04-12 2019-04-12 一种处理方法、装置和系统
PCT/CN2020/084329 WO2020207487A1 (zh) 2019-04-12 2020-04-10 一种处理方法、装置和系统
EP20788193.9A EP3941021A4 (en) 2019-04-12 2020-04-10 METHOD, DEVICE AND SYSTEM FOR PROCESSING
US17/498,343 US20220038529A1 (en) 2019-04-12 2021-10-11 Processing method, apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910296139.8A CN111818115B (zh) 2019-04-12 2019-04-12 一种处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN111818115A CN111818115A (zh) 2020-10-23
CN111818115B true CN111818115B (zh) 2021-10-22

Family

ID=72750812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910296139.8A Active CN111818115B (zh) 2019-04-12 2019-04-12 一种处理方法、装置和系统

Country Status (4)

Country Link
US (1) US20220038529A1 (zh)
EP (1) EP3941021A4 (zh)
CN (1) CN111818115B (zh)
WO (1) WO2020207487A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11321931B2 (en) * 2020-03-31 2022-05-03 Home Box Office, Inc. Creating cloud-hosted, streamed augmented reality experiences with low perceived latency
US11445329B2 (en) 2021-02-02 2022-09-13 Qualcomm Incorporated Techniques for reducing uplink feedback latency for virtual reality devices in multi-user deployments
CN113315999A (zh) * 2021-05-26 2021-08-27 中国联合网络通信集团有限公司 虚拟现实优化方法、装置、设备及存储介质
CN114173185B (zh) * 2021-12-03 2022-12-13 东北大学 一种基于IPv6的360度视频自适应传输方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245909A (zh) * 2015-10-10 2016-01-13 上海慧体网络科技有限公司 结合智能硬件、云计算、互联网进行比赛直播的方法
CN107517269A (zh) * 2017-09-07 2017-12-26 深圳市酷开网络科技有限公司 基于vr设备的远程同步推送文件的缓存方法及系统
CN107533233A (zh) * 2015-03-05 2018-01-02 奇跃公司 用于增强现实的系统和方法
CN207068251U (zh) * 2017-07-23 2018-03-02 供求世界科技有限公司 一种用于道路交叉路口的ar系统
CN108366232A (zh) * 2018-03-30 2018-08-03 东南大学 一种基于移动端虚拟现实技术的智能视频监控系统
CN108422435A (zh) * 2018-03-21 2018-08-21 青岛理工大学 一种基于增强现实的远程监测及控制系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
EP3242478A4 (en) * 2014-12-30 2018-09-19 Alcatel Lucent Method and apparatus for sending video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533233A (zh) * 2015-03-05 2018-01-02 奇跃公司 用于增强现实的系统和方法
CN105245909A (zh) * 2015-10-10 2016-01-13 上海慧体网络科技有限公司 结合智能硬件、云计算、互联网进行比赛直播的方法
CN207068251U (zh) * 2017-07-23 2018-03-02 供求世界科技有限公司 一种用于道路交叉路口的ar系统
CN107517269A (zh) * 2017-09-07 2017-12-26 深圳市酷开网络科技有限公司 基于vr设备的远程同步推送文件的缓存方法及系统
CN108422435A (zh) * 2018-03-21 2018-08-21 青岛理工大学 一种基于增强现实的远程监测及控制系统
CN108366232A (zh) * 2018-03-30 2018-08-03 东南大学 一种基于移动端虚拟现实技术的智能视频监控系统

Also Published As

Publication number Publication date
EP3941021A4 (en) 2022-08-03
CN111818115A (zh) 2020-10-23
EP3941021A1 (en) 2022-01-19
US20220038529A1 (en) 2022-02-03
WO2020207487A1 (zh) 2020-10-15

Similar Documents

Publication Publication Date Title
CN111818115B (zh) 一种处理方法、装置和系统
CN105791977B (zh) 基于云服务的虚拟现实数据处理方法、设备及系统
CN107040781A (zh) 使用动态分辨率切换的实时视频编码器速率控制
CN111163318B (zh) 一种基于反馈优化的人机视觉编码方法和装置
CN110430436A (zh) 一种云手机视频压缩方法、系统、装置及存储介质
CN111182220A (zh) 图像处理装置、远端设备及通信系统
CN112995636A (zh) 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN106792133A (zh) 虚拟现实服务器、视频数据传输方法及系统
CN116033189A (zh) 基于云边协同的直播互动视频分区智能控制方法和系统
CN110798497A (zh) 混合现实交互系统和方法
CN113973224A (zh) 媒体信息的传输方法、计算设备及存储介质
CN102972033A (zh) 用于立体三维视频信息的通信的方法和系统
CN114268626A (zh) 窗口处理系统、方法以及装置
CN114827617B (zh) 一种基于感知模型的视频编解码方法及系统
Pitkänen et al. Remote VR gaming on mobile devices
CN115941965A (zh) 云桌面编码方法、重建方法、显示方法和显示系统
WO2015117383A1 (zh) 通话的方法、终端和计算机存储介质
CN115695905A (zh) 视频流恢复方法、电子设备及计算机可读存储介质
CN115706829A (zh) 一种多窗口视频通信方法、设备及系统
CN113996056A (zh) 云游戏的数据发送和接收方法以及相关设备
TW202218424A (zh) 用於網路傳輸的內容壓縮
CN114697731A (zh) 投屏方法、电子设备及存储介质
US20230091518A1 (en) Video Transmission Method, Apparatus, and System
US20240095966A1 (en) Coding of displacements by use of contexts for vertex mesh (v-mesh)
CN113160342B (zh) 基于反馈的编码方法及装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant