CN112565884B - 图像处理方法、装置、终端、服务器及存储介质 - Google Patents
图像处理方法、装置、终端、服务器及存储介质 Download PDFInfo
- Publication number
- CN112565884B CN112565884B CN202011361527.9A CN202011361527A CN112565884B CN 112565884 B CN112565884 B CN 112565884B CN 202011361527 A CN202011361527 A CN 202011361527A CN 112565884 B CN112565884 B CN 112565884B
- Authority
- CN
- China
- Prior art keywords
- terminal
- image
- rendering
- rendered
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 238000009877 rendering Methods 0.000 claims abstract description 266
- 238000000034 method Methods 0.000 claims abstract description 101
- 238000012545 processing Methods 0.000 claims abstract description 89
- 230000000694 effects Effects 0.000 claims abstract description 42
- 230000005540 biological transmission Effects 0.000 claims description 146
- 230000008569 process Effects 0.000 claims description 47
- 230000009471 action Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Generation (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开关于一种图像处理方法、装置、终端、服务器及存储介质，其中终端可以在终端与目标服务器之间的预测时延满足预设时延要求的情况下，将待渲染对象发送到目标服务器，以使目标服务器对待渲染对象进行渲染处理。本公开可以在终端与目标服务器之间的预测时延满足要求的情况下，利用服务器对待渲染对象进行渲染处理，终端无需对待渲染对象进行渲染。由于服务器的处理能力强大，因此本公开可以取得较好的渲染效果。
Description
技术领域
本公开涉及图像渲染技术领域，尤其涉及图像处理方法、装置、终端、服务器及存储介质。
背景技术
随着科技的发展，手机等终端的更新换代也越来越快。
终端可以显示多种图像，至少部分图像在终端中进行显示时需要终端进行渲染处理。相关技术中，部分终端在进行图像渲染时，往往无法达到较好的图像渲染效果。
发明内容
本公开提供一种图像处理方法、装置、终端、服务器及存储介质，以至少解决相关技术中终端无法达到较好的图像渲染效果的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
在预设情况下，终端将待渲染对象发送到目标服务器，所述预设情况至少包括：所述终端与所述目标服务器之间的预测时延满足预设时延要求；
所述终端接收所述目标服务器返回的渲染图像，其中，所述渲染图像是所述目标服务器对所述待渲染对象进行渲染处理后得到的；
所述终端显示所述渲染图像。
在第一方面的一种可能的实现方式中，还包括：
在所述终端与所述目标服务器之间的预测时延不满足所述预设时延要求时，更换所述终端当前采用的编码算法和/或传输算法，并基于更换后的算法再次确定所述终端与所述目标服务器之间的预测时延，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法。
在第一方面的一种可能的实现方式中，所述预测时延包括：图像处理时延和图像传输时延，所述方法还包括：
当所述图像传输时延不低于第一预设时长时，将所述终端当前采用的传输算法更换为传输速度更快的其他传输算法；
和/或，当所述图像处理时延不低于第二预设时长时，将所述终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法。
在第一方面的一种可能的实现方式中，所述预测时延包括：图像处理时延和图像传输时延，所述方法还包括：
当所述图像传输时延低于第三预设时长时，将所述终端当前采用的编码算法更换为编码质量更高的其他编码算法；
和/或，当所述图像传输时延不低于第一预设时长时，将所述终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法。
在第一方面的一种可能的实现方式中，所述预设情况还包括：所述终端的渲染性能对应的渲染复杂度低于所述待渲染对象的渲染复杂度。
在第一方面的一种可能的实现方式中，所述方法还包括：
在除所述预设情况外的其他情况下，所述终端对所述待渲染对象进行渲染，获得渲染图像。
在第一方面的一种可能的实现方式中，所述待渲染对象包括虚拟对象和目标图像，所述终端将待渲染对象发送到目标服务器，包括：
所述终端将目标图像和所述虚拟对象的渲染参数发送到目标服务器，所述虚拟对象用于显示在所述目标图像上。
在第一方面的一种可能的实现方式中，所述目标图像为所述终端进行拍摄得到的图像，所述终端将目标图像和所述虚拟对象的渲染参数发送到目标服务器，包括：
所述终端将所述虚拟对象的渲染参数编码到所述终端进行拍摄得到的图像所对应的视频流中，将所述视频流发送到所述目标服务器，其中，所述视频流中视频帧的采集时刻与所述视频帧所携带的渲染参数的采集时刻匹配。
在第一方面的一种可能的实现方式中，所述渲染参数包括：所述终端中的传感器感应到的至少一种参数和/或渲染效果触发指令。
根据本公开实施例的第二方面，提供一种图像处理方法，包括：
服务器获得终端在预设情况下发送的待渲染对象，所述预设情况至少包括：所述终端与所述目标服务器之间的预测时延满足预设时延要求；
所述服务器对所述待渲染对象进行渲染处理，获得渲染图像；
所述服务器将所述渲染图像发送至所述终端。
在第二方面的一种可能的实现方式中，所述待渲染对象包括虚拟对象和目标图像，所述服务器获得终端在预设情况下发送的待渲染对象，包括：
所述服务器获得终端在预设情况下发送的目标图像和所述虚拟对象的渲染参数。
在第二方面的一种可能的实现方式中，所述目标图像为所述终端进行拍摄得到的图像，所述服务器对所述待渲染对象进行渲染处理，获得渲染图像，包括：
当所述终端将所述虚拟对象的渲染参数编码到所述终端进行拍摄得到的图像所对应的视频流中时，所述服务器对所述视频流进行解码处理，获得多个视频帧及与所述视频帧所携带的渲染参数，其中，所述视频流中视频帧的采集时刻与所述视频帧所携带的渲染参数的采集时刻匹配；
根据所述视频帧所携带的渲染参数，将所述虚拟对象渲染到所述视频帧上。
在第二方面的一种可能的实现方式中，所述目标图像为所述终端进行拍摄得到的图像，所述服务器对所述待渲染对象进行渲染处理，获得渲染图像，包括：
所述服务器识别获得的所述目标图像中是否携带有渲染效果触发指令所对应的触发动作图像，如果是，则根据所述触发动作图像对应的渲染效果触发指令，将所述虚拟对象渲染到所述目标图像上。
根据本公开实施例的第三方面，提供一种图像处理装置，应用于终端中，所述图像处理装置包括：
对象发送单元，被配置为执行在预设情况下，将待渲染对象发送到目标服务器，所述预设情况至少包括：所述终端与所述目标服务器之间的预测时延满足预设时延要求；
图像接收单元，被配置为执行接收所述目标服务器返回的渲染图像，其中，所述渲染图像是所述目标服务器对所述待渲染对象进行渲染处理后得到的；
图像显示单元，被配置为执行显示所述渲染图像。
在第三方面的一种可能的实现方式中，所述图像处理装置还包括：
第一算法更换单元，被配置为执行在所述终端与所述目标服务器之间的预测时延不满足所述预设时延要求时，更换所述终端当前采用的编码算法和/或传输算法，并基于更换后的算法再次确定所述终端与所述目标服务器之间的预测时延，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法。
在第三方面的一种可能的实现方式中，所述预测时延包括：图像处理时延和图像传输时延，所述图像处理装置还包括：第二算法更换单元和/或第三算法更换单元，
第二算法更换单元，被配置为执行当所述图像传输时延不低于第一预设时长时，将所述终端当前采用的传输算法更换为传输速度更快的其他传输算法；
第三算法更换单元，被配置为执行当所述图像处理时延不低于第二预设时长时，将所述终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法。
在第三方面的一种可能的实现方式中，所述预测时延包括：图像处理时延和图像传输时延，所述图像处理装置还包括：第四算法更换单元和/或第五算法更换单元，
第四算法更换单元，被配置为执行当所述图像传输时延低于第三预设时长时，将所述终端当前采用的编码算法更换为编码质量更高的其他编码算法；
第五算法更换单元，被配置为执行当所述图像传输时延不低于第一预设时长时，将所述终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法。
在第三方面的一种可能的实现方式中，所述预设情况还包括：所述终端的渲染性能对应的渲染复杂度低于所述待渲染对象的渲染复杂度。
在第三方面的一种可能的实现方式中，所述图像处理装置还包括：第一渲染单元，被配置为执行在除所述预设情况外的其他情况下，对所述待渲染对象进行渲染，获得渲染图像。
在第三方面的一种可能的实现方式中，所述待渲染对象包括虚拟对象和目标图像，所述对象发送单元，被具体配置为执行：在预设情况下，将目标图像和所述虚拟对象的渲染参数发送到目标服务器，所述虚拟对象用于显示在所述目标图像上。
在第三方面的一种可能的实现方式中，所述目标图像为所述终端进行拍摄得到的图像，所述对象发送单元，被具体配置为：在预设情况下，将所述虚拟对象的渲染参数编码到所述终端进行拍摄得到的图像所对应的视频流中，将所述视频流发送到所述目标服务器，其中，所述视频流中视频帧的采集时刻与所述视频帧所携带的渲染参数的采集时刻匹配。
在第三方面的一种可能的实现方式中，所述渲染参数包括：所述终端中的传感器感应到的至少一种参数和/或渲染效果触发指令。
根据本公开实施例的第四方面，提供一种图像处理装置，应用于服务器中，所述图像处理装置包括：
对象获得单元，被配置为执行获得终端在预设情况下发送的待渲染对象，所述预设情况至少包括：所述终端与所述目标服务器之间的预测时延满足预设时延要求；
第二渲染单元，被配置为执行对所述待渲染对象进行渲染处理，获得渲染图像；
图像发送单元，被配置为执行将所述渲染图像发送至所述终端。
在第四方面的一种可能的实现方式中，所述待渲染对象包括虚拟对象和目标图像，所述对象获得单元，被具体配置为执行：获得终端在预设情况下发送的目标图像和所述虚拟对象的渲染参数。
在第四方面的一种可能的实现方式中，所述目标图像为所述终端进行拍摄得到的图像，所述第二渲染单元，包括：
解码子单元，被配置为执行：当所述终端将所述虚拟对象的渲染参数编码到所述终端进行拍摄得到的图像所对应的视频流中时，对所述视频流进行解码处理，获得多个视频帧及与所述视频帧所携带的渲染参数，其中，所述视频流中视频帧的采集时刻与所述视频帧所携带的渲染参数的采集时刻匹配；
渲染子单元，被配置为执行：根据所述视频帧所携带的渲染参数，将所述虚拟对象渲染到所述视频帧上。
在第四方面的一种可能的实现方式中，所述目标图像为所述终端进行拍摄得到的图像，所述第二渲染单元，被具体配置为执行：
识别获得的所述目标图像中是否携带有渲染效果触发指令所对应的触发动作图像，如果是，则根据所述触发动作图像对应的渲染效果触发指令，将所述虚拟对象渲染到所述目标图像上。
根据本公开实施例的第五方面，提供一种终端，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现本公开实施例的第一方面提供的任一种图像处理方法。
根据本公开实施例的第六方面，提供一种服务器，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现本公开实施例的第二方面提供的任一种图像处理方法。
根据本公开实施例的第七方面，提供一种图像处理系统，包括本公开实施例的第五方面提供的终端和本公开实施例的第六方面提供的服务器。
根据本公开实施例的第八方面，提供一种存储介质，所述存储介质存储有可在处理器上运行的计算机执行指令，当所述存储介质中的计算机执行指令由终端的处理器执行时，使得所述终端能够执行本公开实施例的第一方面提供的任一种图像处理方法。
根据本公开实施例的第九方面，提供一种存储介质，所述存储介质存储有可在处理器上运行的计算机执行指令，当所述存储介质中的计算机执行指令由服务器的处理器执行时，使得所述服务器能够执行本公开实施例的第二方面提供的任一种图像处理方法。
根据本公开实施例的第十方面，提供一种计算机程序产品，所述计算机程序产品包括计算机软件指令，所述计算机软件指令可通过处理器进行加载来实现本公开实施例的第一方面提供的任一种图像处理方法中的流程。
根据本公开实施例的第十一方面，提供一种计算机程序产品，所述计算机程序产品包括计算机软件指令，所述计算机软件指令可通过处理器进行加载来实现本公开实施例的第二方面提供的任一种图像处理方法中的流程。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开的终端可以在终端与目标服务器之间的预测时延满足预设时延要求的情况下，将待渲染对象发送到目标服务器，以使目标服务器对待渲染对象进行渲染处理。本公开可以在终端与目标服务器之间的预测时延满足要求的情况下，利用服务器对待渲染对象进行渲染处理，终端无需对待渲染对象进行渲染。由于服务器的处理能力强大，因此本公开可以取得较好的渲染效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的一种应用环境示意图；
图2是根据一示例性实施例示出的一种图像处理方法的另一种应用环境示意图；
图3是根据一示例性实施例示出的一种图像处理方法的流程图；
图4是根据一示例性实施例示出的一种图像处理方法的流程图；
图5是根据一示例性实施例示出的一种图像处理方法的流程图；
图6是根据一示例性实施例示出的一种图像处理方法的流程图；
图7是根据一示例性实施例示出的一种图像处理方法的流程图；
图8是根据一示例性实施例示出的一种图像处理装置的结构示意图；
图9是根据一示例性实施例示出的一种图像处理装置的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是本公开实施例示出的一种图像处理方法的应用环境示意图。如图1所示，终端001可以与服务器002通信连接。可选的，本公开中的终端001可以为手机、平板电脑、计算机、可穿戴电子设备等。
图2是本公开实施例示出的一种图像处理方法的另一种应用环境示意图。图2中终端001可以与多个服务器002通信连接。本公开中的各服务器002可以设置在不同位置，各服务器002与终端001的距离可以相同，也可以不同。
可选的，本公开中的终端与服务器可以通过多种通信方式(如无线连接，有线连接，直接连接，通过中继设备连接)进行通信连接。本公开中的终端与服务器可以使用多种通信网络进行通信连接，如：第五代移动通信技术(5th generation mobile networks，5G)网络、第四代移动通信技术(the 4th generation mobile communication technology，4G)网络等。
图3是根据一示例性实施例示出的一种图像处理方法的流程图，图3所示的图像处理方法可以用于终端中，图3所示方法包括以下步骤。
在步骤S11中，在预设情况下，终端将待渲染对象发送到目标服务器，预设情况至少包括：终端与目标服务器之间的预测时延满足预设时延要求。
可选的，终端将待渲染对象发送到目标服务器的具体过程可以包括：
终端使用编码算法对待渲染对象进行编码，终端将编码后得到的数据发送到目标服务器。即：终端将待渲染对象发送到目标服务器可以包含编码和发送两个过程。
相应的，服务器在获得待渲染对象后，服务器可以对接收到的待渲染对象进行解码。当然，服务器在获得待渲染对象后，还可以向终端返回响应信号。
可选的，预测时延可以包括：图像处理时延和图像传输时延。该图像处理时延可以为编码时长，也可以为编码时长和解码时长之和。其中，编码时长为终端使用编码算法对待渲染对象进行编码所花费的时长，解码时长为服务器对接收到的待渲染对象进行解码所花费的时长。可选的，当终端和/或服务器对待渲染对象的处理还包括其他处理时，图像处理时延还可以包括进行上述其他处理所花费的时长。
可选的，图像传输时延可以包括发送时延，也可以包括：发送时延和接收时延。其中，发送时延为终端将编码后的数据发送到服务器所花费的传输时长，接收时延是服务器将响应信号发送到终端所花费的传输时长。
可选的，终端可以对终端与目标服务器之间的时延进行测试，从而得到预测时延。
可选的，终端可以通过传输时延测试过程来确定服务器与终端之间的图像传输时延。该传输延时测试过程可以包括：终端向第一服务器发送传输时延测试信号并记录发送时刻，终端接收第一服务器返回的响应信号并记录接收时刻，终端将接收时刻与发送时刻之间的间隔确定为第一服务器与终端的图像传输时延。可选的，上述延时测试过程可以分别用于对各服务器的图像传输时延的测试。
可选的，终端可以通过对预设的待渲染对象进行编码来测试编码时长。相应的，服务器可以通过对预设的编码后的待渲染对象进行解码来测试解码时长。当然，在其他实施例中，终端可以通过待渲染对象的渲染复杂度来预测编码时长，服务器也可以通过待渲染对象的渲染复杂度来预测解码时长。其中，本公开可以通过待渲染对象的类型、数据量、色彩数量、像素值等参数中的至少一个确定渲染复杂度。
可选的，本公开的终端可以从多种编码算法中选择一种对待渲染对象进行编码，本公开的终端可以从多种传输算法中选择一种对待渲染对象进行传输。可以理解的是，服务器可以使用与终端所使用的编码算法对应的解码算法对待渲染对象进行解码。终端可以将其采用的编码算法的标识发送给服务器，从而使得服务器知悉应采用哪种解码算法。
可选的，本公开的终端可以根据终端与目标服务器之间的预测时延来更换终端当前采用的编码算法和/或传输算法。
具体的，图3所示方法还可以包括：
在终端与目标服务器之间的预测时延不满足预设时延要求时，更换终端当前采用的编码算法和/或传输算法，并基于更换后的算法再次确定终端与目标服务器之间的预测时延，终端当前采用的编码算法为终端将待渲染对象发送到目标服务器的过程中所使用的编码算法，终端当前采用的传输算法为终端将待渲染对象发送到目标服务器的过程中所使用的传输算法。
可选的，上述预设时延要求可以为预测时延超过预设时长。
通过更换终端当前采用的编码算法和/或传输算法，可以调整终端与目标服务器之间的时延。在基于更换后的算法再次确定终端与目标服务器之间的预测时延后，如果该再次确定的预测时延满足预设时延要求，则可以基于更换后的算法对待渲染对象进行处理。如该再次确定的预测时延不满足预设时延要求，则可以再次更换终端当前采用的编码算法和/或传输算法。
在一可选的具体实施方式中，预测时延包括：图像处理时延和图像传输时延，图3所示方法还包括：
当图像传输时延不低于第一预设时长时，将终端当前采用的传输算法更换为传输速度更快的其他传输算法；
和/或，当图像处理时延不低于第二预设时长时，将终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，终端当前采用的编码算法为终端将待渲染对象发送到目标服务器的过程中所使用的编码算法，终端当前采用的传输算法为终端将待渲染对象发送到目标服务器的过程中所使用的传输算法。
通过将终端当前采用的传输算法更换为传输速度更快的其他传输算法，可以有效降低图像传输时延。其中，使用编码质量更低的编码算法进行编码的编码时长更短，因此将终端当前采用的编码算法更换为编码质量更低的其他编码算法，可以有效降低图像处理时延。
其中，第一预设时长和第二预设时长可以相同，也可以不同。
在一可选的具体实施方式中，预测时延包括：图像处理时延和图像传输时延，图3所示方法还包括：
当图像传输时延低于第三预设时长时，将终端当前采用的编码算法更换为编码质量更高的其他编码算法；
和/或，当图像传输时延不低于第一预设时长时，将终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，终端当前采用的编码算法为终端将待渲染对象发送到目标服务器的过程中所使用的编码算法，终端当前采用的传输算法为终端将待渲染对象发送到目标服务器的过程中所使用的传输算法。
其中，第三预设时长可以小于第一预设时长。第三预设时长可以为一个比较小的数值，这样，当图像传输时延低于第三预设时长时，则图像传输时延很低，即使将终端当前采用的编码算法更换为编码质量更高的其他编码算法，终端与目标服务器之间的预测时延也满足预设时延要求。因此，这种情况下，可以通过采用编码质量更高的其他编码算法来提高渲染图像的清晰度。
其中，当图像传输时延不低于第一预设时长时，说明传输耗时较多，将终端当前采用的编码算法更换为编码质量更低的其他编码算法可以降低编码时长，进而降低了预测时延。
可选的，当图像传输时延不低于第一预设时长时，可以将终端当前采用的编码算法更换为编码质量更低的其他编码算法。
可选的，当图像传输时延不低于第一预设时长时，可以将终端当前采用的传输算法更换为传输速度更快的其他传输算法。
可选的，当图像传输时延低于第三预设时长时，可以将终端当前采用的编码算法更换为编码质量更高的其他编码算法。
可选的，当图像传输时延低于第三预设时长时，可以将终端当前采用的传输算法更换为传输速度更慢的其他传输算法。其中，传输速度更慢的其他传输算法的耗电量更低，可以有效降低耗电量。
可选的，当图像处理时延不低于第二预设时长时，可以将终端当前采用的编码算法更换为编码质量更低的其他编码算法。
可选的，当图像处理时延不低于第二预设时长时，可以将终端当前采用的传输算法更换为传输速度更快的其他传输算法。
可选的，当图像处理时延低于第四预设时长时，可以将终端当前采用的编码算法更换为编码质量更高的其他编码算法。
可选的，当图像处理时延低于第四预设时长时，可以将终端当前采用的传输算法更换为传输速度更慢的其他传输算法。其中，传输速度更慢的其他传输算法的耗电量更低，可以有效降低耗电量。
其中，第一预设时长大于第三预设时长。第二预设时长大于第四预设时长。
在本公开其他实施例中，步骤S11中的预设情况还可以包括：终端的渲染性能对应的渲染复杂度低于待渲染对象的渲染复杂度。
可选的，终端的渲染性能可以根据终端的至少部分器件的参数确定，例如：终端的CPU参数、GPU参数、内存参数等。
具体的，渲染性能越高，则终端可以实现的渲染复杂度越高，因此本公开可以根据该关系将终端的渲染性能与渲染复杂度对应起来。本公开可以通过实际测试来确定渲染性能与渲染复杂度的对应关系。
当终端的渲染性能对应的渲染复杂度低于待渲染对象的渲染复杂度时，说明终端完成待渲染对象的渲染工作较为吃力，因此可以将其发送到服务器进行渲染。
在其他实施例中，图3所示方法还包括：
在除预设情况外的其他情况下，终端对待渲染对象进行渲染，获得渲染图像。
本公开可以根据当前是否满足预设情况来选择将待渲染对象发送到服务器渲染还是使用终端进行渲染，更加灵活。
例如：本公开可以将虚拟对象的渲染复杂度与终端的渲染性能对应的渲染复杂度进行比较，并根据比较结果确定是由终端进行渲染还是由服务器进行渲染。当终端的渲染性能对应的渲染复杂度低于目标渲染复杂度时，说明终端无法较好的实现虚拟对象的渲染，此时可以由服务器执行渲染过程。当终端的渲染性能对应的渲染复杂度不低于目标渲染复杂度时，说明终端可以较好的实现虚拟对象的渲染，此时可以由终端执行渲染过程。这样就可以有针对性的充分利用终端和服务端，使得渲染方案更加灵活，也避免了始终由一个设备执行渲染过程所带来的负荷集中于某一设备的问题。
可选的，待渲染对象可以包括虚拟对象和目标图像。虚拟对象可以为通过计算机绘图技术得到的虚拟对象，如：虚拟宠物。本公开中的虚拟对象可以为2D对象，也可以为3D对象。本公开中的虚拟对象的图像数据可以保存在终端中，也可以保存在服务器中，也可以保存在其他设备中。
可选的，步骤S11中终端将待渲染对象发送到目标服务器，可以具体包括：
终端将目标图像和虚拟对象的渲染参数发送到目标服务器，虚拟对象用于显示在目标图像上。
可选的，目标图像可以为终端进行拍摄得到的图像。
可选的，目标图像为终端进行拍摄得到的图像，终端将目标图像和虚拟对象的渲染参数发送到目标服务器，包括：
终端将虚拟对象的渲染参数编码到终端进行拍摄得到的图像所对应的视频流中，将视频流发送到目标服务器，其中，视频流中视频帧的采集时刻与视频帧所携带的渲染参数的采集时刻匹配。
可选的，本公开中的终端可以具有图像拍摄功能。例如：本公开中的终端带有摄像头。
由于视频流中视频帧的采集时刻与视频帧所携带的渲染参数的采集时刻匹配，因此服务器可以根据渲染参数在采集时刻匹配的视频帧上进行虚拟对象的渲染，保证了虚拟对象与目标图像的时刻匹配度。
可选的，由于图像的数据量相对较大，因此本公开可以对目标图像进行编码，以降低图像的数据量。然后将编码后的图像发送到目标服务器，从而有效提高数据传输速度，降低延时。当然，本公开也可以对虚拟对象的渲染参数进行编码。
可选的，本公开的终端和目标服务器之间可以通过软件定义网络(SoftwareDefined Network，SDN)网络连接，并基于用户数据报协议(UDP，User Datagram Protocol)协议的高清视频低延时通信技术进行通信。
可选的，本公开的终端可以基于所使用的通信协议对所要传输的数据(包括目标图像和待渲染的虚拟对象的渲染参数)进行封装，并通过所使用的通信协议将数据发送至目标服务器。
可选的，本公开的虚拟对象可以为用于显示在目标图像上以提高目标图像的显示效果的对象。可选的，本公开的虚拟对象可以以静态图像或动态图像的形式显示在目标图像上。本公开的虚拟对象在目标图像上显示的位置、显示的效果以及虚拟对象的尺寸等都可以随着时间而变化或不变。
可选的，本公开的虚拟对象可以与目标图像中的实际对象具有预设关联关系。上述实际对象为客观世界中实际存在的对象，如：客观存在的人、物品等。可选的，上述预设关联关系包括但不限于：形状匹配关系、归属关系、装饰关系、互动关系等。例如：本公开的虚拟对象可以包括：虚拟雪花、虚拟头饰、虚拟脸谱、虚拟动物、虚拟文字、虚拟图案等。
可选的，虚拟对象的渲染参数可以包括：虚拟对象的标识、终端中的传感器感应到的至少一种参数以及渲染效果触发指令中的至少一种。
在实际应用中，本公开可以为各虚拟对象分别设置唯一标识。通过虚拟对象的标识，目标服务器可以获悉所要渲染的虚拟对象是哪一个。
终端中的传感器可以有多种，如加速度传感器、磁力传感器、方向传感器、陀螺仪传感器、光线感应传感器、压力传感器、温度传感器、接近传感器、重力传感器、线性加速度传感器、旋转矢量传感器等。本公开可以将终端中的部分或全部传感器感应到的至少一种参数发送到目标服务器。
可选的，终端发送的渲染参数可以用于影响虚拟对象的渲染效果。例如：基于方向传感器感应到的终端朝向确定终端中摄像头的拍摄方向，进而将拍摄方向发送到目标服务器。当虚拟对象为3D虚拟对象时，虚拟对象的渲染效果将随拍摄方向而变化。
可选的，本公开中的渲染效果触发指令可以为通过终端的输入设备输入的指令，如：用户点击触摸屏中的某个虚拟按键。本公开中的渲染效果触发指令可以是用于指示对虚拟对象进行某种或某几种渲染效果的指令。例如：用户点击了“黑毛”虚拟按键，则终端生成用于指示将虚拟动物的毛色改为黑色的渲染效果触发指令。
可选的，本公开可以将目标图像和待渲染的虚拟对象的渲染参数一起或分别发送至目标服务器。
在步骤S12中，终端接收目标服务器返回的渲染图像，其中，渲染图像是目标服务器对待渲染对象进行渲染处理后得到的。
可选的，目标服务器在获得待渲染对象后，可以对待渲染对象进行解码，然后对待渲染对象进行渲染处理，获得渲染图像，然后对渲染图像进行编码，最后将渲染图像返回至终端。在实际应用中，终端和服务器之间通信时还可以基于通信协议进行封装和解封装。
可选的，当待渲染对象包括目标图像和虚拟对象时，目标服务器在获得目标图像和虚拟对象的渲染参数后，可以首先基于通信协议对目标图像和虚拟对象的渲染参数进行解封装，然后对解封装后的目标图像进行解码，然后根据渲染参数将虚拟对象渲染到解码后的目标图像上，获得渲染图像，然后再依次对渲染图像进行编码和封装，最后将封装后得到的数据包返回至终端。
可选的，服务器中可以保存有虚拟对象。可选的，终端中可以保存或未保存有虚拟对象。当服务器保存有虚拟对象时，服务器可以直接根据渲染参数对虚拟对象进行渲染，无需从其他设备获取虚拟对象，更加快捷。同时，由于服务器保存有虚拟对象并对虚拟对象进行渲染，因此终端无需保存虚拟对象，有效节省了终端的存储空间。
可选的，终端在接收到目标服务器返回的渲染图像后，可以依次对接收到的渲染图像进行解封装和解编码，从而可以获得能够进行显示的渲染图像。
在步骤S13中，终端显示渲染图像。
本公开图3所示的一种图像处理方法中，终端可以在终端与目标服务器之间的预测时延满足预设时延要求的情况下，将待渲染对象发送到目标服务器，以使目标服务器对待渲染对象进行渲染处理。本公开可以在终端与目标服务器之间的预测时延满足要求的情况下，利用服务器对待渲染对象进行渲染处理，终端无需对待渲染对象进行渲染。由于服务器的处理能力强大，因此本公开可以取得较好的渲染效果。
在部分实施例中，本公开的虚拟对象是需要渲染到目标图像上的对象，因此本公开的虚拟对象可以有效提高目标图像的显示效果。同时，本公开通过将目标图像和待渲染的虚拟对象的渲染参数发送到目标服务器，可以使得目标服务器根据渲染参数将虚拟对象渲染到目标图像上后得到渲染图像，而非单纯的对虚拟对象进行渲染或单纯的对目标图像进行处理。
可选的，本公开的目标服务器可以为边缘节点。边缘节点是在靠近用户的网络边缘侧构建的业务节点。本公开的目标服务器可以为4G网络或5G网络的边缘节点。
如图2所示，与终端001通信连接的服务器002可以有多个，本公开可以选择其中的一个或多个作为目标服务器。
图4是根据另一示例性实施例示出的一种图像处理方法的流程图，图4所示方法相对于图3所示方法，还包括：
在步骤S10中，终端确定图像传输时延低于第一预设时延的目标服务器，其中，目标服务器为与终端通信连接的服务器，图像传输时延为与终端通信连接的服务器与终端之间的传输时延。
可选的，上述时延测试信息用于指示接收到该时延测试信息的服务器立即返回时延测试响应。
当然，终端确定传输时延的方法还有多种，本公开不做限定。
可选的，本公开中的第一预设时延可以为50毫秒。
本公开图4所示方法确定的目标服务器的图像传输时延较低，可以有效提高渲染的时效性。
图5是根据另一示例性实施例示出的一种图像处理方法的流程图，图5所示方法相对于图3所示方法，还可以包括：
在步骤S07中，终端确定待渲染对象的目标渲染复杂度。
在步骤S08中，确定终端的渲染性能对应的渲染复杂度是否低于目标渲染复杂度，如果是，执行步骤S11。否则，执行步骤S09。
可选的，终端的渲染性能可以根据终端的至少部分器件的参数确定，例如：终端的CPU参数、GPU参数、内存参数等。
具体的，渲染性能越高，则终端可以实现的渲染复杂度越高，因此本公开可以根据该关系将终端的渲染性能与渲染复杂度对应起来。本公开可以通过实际测试来确定渲染性能与渲染复杂度的对应关系。
在步骤S09中，终端对待渲染对象进行渲染，获得渲染图像。
图5所示方法可以将待渲染对象的渲染复杂度与终端的渲染性能对应的渲染复杂度进行比较，并根据比较结果确定是由终端进行渲染还是由服务器进行渲染。当终端的渲染性能对应的渲染复杂度低于目标渲染复杂度时，说明终端无法较好的实现待渲染对象的渲染，此时可以由服务器执行渲染过程。当终端的渲染性能对应的渲染复杂度不低于目标渲染复杂度时，说明终端可以较好的实现待渲染对象的渲染，此时可以由终端执行渲染过程。本公开图5所示方法可以有针对性的充分利用终端和服务端，使得渲染方案更加灵活，也避免了始终由一个设备执行渲染过程所带来的负荷集中于某一设备的问题。
与图3所示方法相对应，图6是根据一示例性实施例示出的另一种图像处理方法的流程图，图6所示的图像处理方法可以用于服务器中，图6所示方法包括以下步骤。
在步骤S21中，服务器获得终端在预设情况下发送的待渲染对象，预设情况至少包括：终端与目标服务器之间的预测时延满足预设时延要求；
可选的，待渲染对象包括虚拟对象和目标图像，服务器获得终端在预设情况下发送的待渲染对象，包括：
服务器获得终端在预设情况下发送的目标图像和虚拟对象的渲染参数。
在步骤S22中，服务器对待渲染对象进行渲染处理，获得渲染图像；
可选的，目标图像为终端进行拍摄得到的图像，步骤S22包括：
当终端将虚拟对象的渲染参数编码到终端进行拍摄得到的图像所对应的视频流中时，服务器对视频流进行解码处理，获得多个视频帧及与视频帧所携带的渲染参数，其中，视频流中视频帧的采集时刻与视频帧所携带的渲染参数的采集时刻匹配；
根据视频帧所携带的渲染参数，将虚拟对象渲染到视频帧上。
在其他实施例中，目标图像为终端进行拍摄得到的图像，步骤S22可以包括：
服务器识别获得的目标图像中是否携带有渲染效果触发指令所对应的触发动作图像，如果是，则根据触发动作图像对应的渲染效果触发指令，将虚拟对象渲染到目标图像上。
可选的，上述动作图像可以为人或动物进行的动作，如摇头、微笑、胜利手势(V型手势)等。当确定目标图像携带有上述动作图像，即可确定目标图像携带有与该动作对应的渲染效果触发指令。进而，可以将与渲染效果触发指令对应的虚拟对象渲染到目标图像上。或者，可以根据与渲染效果触发指令对应的渲染参数，调整虚拟对象在目标图像上的渲染效果。例如：调整虚拟对象的渲染位置等。
下面举例说明：设与微笑动作对应的渲染效果触发指令为：将预设的虚拟笑脸进行半透明处理，然后渲染到人的脸上。
可选的，服务器不仅可以对虚拟对象进行渲染，还可以对目标图像进行渲染。
其中，服务器可以依据默认渲染参数或终端发送的用于指示对目标图像进行渲染的渲染参数对目标图像的渲染。上述渲染参数可以为：美颜参数、白平衡调整参数等。
在步骤S23中，服务器将渲染图像发送至终端。
可选的，目标图像为终端进行拍摄得到的图像，和/或，渲染参数包括：虚拟对象的标识、终端中的传感器感应到的至少一种参数以及渲染效果触发指令中的至少一种。
图7示出了本公开一示例性实施例提供的另一种图像处理方法的流程图，图7所示方法包括以下步骤。
在步骤S301中，终端获得目标图像和虚拟对象的渲染参数。
在步骤S302中，终端对目标图像进行编码。
在步骤S303中，终端将目标图像和渲染参数封装为第一数据包。
在步骤S304中，终端将第一数据包发送到目标服务器。
在步骤S305中，服务器对第一数据包解封装。
在步骤S306中，服务器对目标图像进行解码。
在步骤S307中，服务器根据渲染参数将虚拟对象渲染到目标图像上。
在步骤S308中，服务器对带有虚拟对象的目标图像进行编码。
在步骤S309中，服务器将编码后的带有虚拟对象的目标图像封装为第二数据包。
在步骤S310中，服务器将第二数据包发送到终端。
在步骤S311中，终端对第二数据包解封装。
在步骤S312中，终端对目标图像进行解码。
在步骤S313中，终端对目标图像进行显示。
与图3所示方法实施例相对应，本公开一示例性实施例还提供了一种图像处理装置，该装置应用于终端中。如图8所示，该图像处理装置包括：
对象发送单元100，被配置为执行在预设情况下，将待渲染对象发送到目标服务器，预设情况至少包括：终端与目标服务器之间的预测时延满足预设时延要求；
图像接收单元200，被配置为执行接收目标服务器返回的渲染图像，其中，渲染图像是目标服务器对待渲染对象进行渲染处理后得到的；
图像显示单元300，被配置为执行显示渲染图像。
可选的，图8所示图像处理装置还包括：
第一算法更换单元，被配置为执行在终端与目标服务器之间的预测时延不满足预设时延要求时，更换终端当前采用的编码算法和/或传输算法，并基于更换后的算法再次确定终端与目标服务器之间的预测时延，终端当前采用的编码算法为终端将待渲染对象发送到目标服务器的过程中所使用的编码算法，终端当前采用的传输算法为终端将待渲染对象发送到目标服务器的过程中所使用的传输算法。
可选的，预测时延包括：图像处理时延和图像传输时延，图8所示图像处理装置还包括：第二算法更换单元和/或第三算法更换单元，
第二算法更换单元，被配置为执行当图像传输时延不低于第一预设时长时，将终端当前采用的传输算法更换为传输速度更快的其他传输算法；
第三算法更换单元，被配置为执行当图像处理时延不低于第二预设时长时，将终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，终端当前采用的编码算法为终端将待渲染对象发送到目标服务器的过程中所使用的编码算法，终端当前采用的传输算法为终端将待渲染对象发送到目标服务器的过程中所使用的传输算法。
可选的，预测时延包括：图像处理时延和图像传输时延，图8所示图像处理装置还包括：第四算法更换单元和/或第五算法更换单元，
第四算法更换单元，被配置为执行当图像传输时延低于第三预设时长时，将终端当前采用的编码算法更换为编码质量更高的其他编码算法；
第五算法更换单元，被配置为执行当图像传输时延不低于第一预设时长时，将终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，终端当前采用的编码算法为终端将待渲染对象发送到目标服务器的过程中所使用的编码算法，终端当前采用的传输算法为终端将待渲染对象发送到目标服务器的过程中所使用的传输算法。
可选的，预设情况还包括：终端的渲染性能对应的渲染复杂度低于待渲染对象的渲染复杂度。
可选的，图8所示图像处理装置还包括：第一渲染单元，被配置为执行在除预设情况外的其他情况下，对待渲染对象进行渲染，获得渲染图像。
可选的，待渲染对象包括虚拟对象和目标图像，对象发送单元，被具体配置为执行：在预设情况下，将目标图像和虚拟对象的渲染参数发送到目标服务器，虚拟对象用于显示在目标图像上。
可选的，目标图像为终端进行拍摄得到的图像，对象发送单元，被具体配置为：在预设情况下，将虚拟对象的渲染参数编码到终端进行拍摄得到的图像所对应的视频流中，将视频流发送到目标服务器，其中，视频流中视频帧的采集时刻与视频帧所携带的渲染参数的采集时刻匹配。
可选的，渲染参数包括：终端中的传感器感应到的至少一种参数和/或渲染效果触发指令。
与图6所示方法实施例相对应，本公开一示例性实施例还提供了一种图像处理装置，应用于服务器中。如图9所示，该图像处理装置包括：
对象获得单元400，被配置为执行获得终端在预设情况下发送的待渲染对象，预设情况至少包括：终端与目标服务器之间的预测时延满足预设时延要求；
第二渲染单元500，被配置为执行对待渲染对象进行渲染处理，获得渲染图像；
图像发送单元600，被配置为执行将渲染图像发送至终端。
可选的，待渲染对象包括虚拟对象和目标图像，对象获得单元，被具体配置为执行：获得终端在预设情况下发送的目标图像和虚拟对象的渲染参数。
可选的，目标图像为终端进行拍摄得到的图像，第二渲染单元，包括：
解码子单元，被配置为执行：当终端将虚拟对象的渲染参数编码到终端进行拍摄得到的图像所对应的视频流中时，对视频流进行解码处理，获得多个视频帧及与视频帧所携带的渲染参数，其中，视频流中视频帧的采集时刻与视频帧所携带的渲染参数的采集时刻匹配；
渲染子单元，被配置为执行：根据视频帧所携带的渲染参数，将虚拟对象渲染到视频帧上。
可选的，目标图像为终端进行拍摄得到的图像，第二渲染单元，被具体配置为执行：
识别获得的目标图像中是否携带有渲染效果触发指令所对应的触发动作图像，如果是，则根据触发动作图像对应的渲染效果触发指令，将虚拟对象渲染到目标图像上。
本公开一示例性实施例还提供了一种终端，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本公开任一实施例提供的应用于终端的图像处理方法。
本公开一示例性实施例还提供了一种服务器，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本公开任一实施例提供的应用于服务器的图像处理方法。
如图1所示，本公开一示例性实施例还提供了一种系统，包括上述的任一种终端001和上述的任一种服务器002。
本公开一示例性实施例还提供了一种存储介质，存储介质存储有可在处理器上运行的计算机执行指令，当存储介质中的计算机执行指令由终端的处理器执行时，使得终端能够执行本公开任一实施例提供的应用于服务器的图像处理方法。
本公开一示例性实施例还提供了一种存储介质，存储介质存储有可在处理器上运行的计算机执行指令，当存储介质中的计算机执行指令由服务器的处理器执行时，使得服务器能够执行本公开任一实施例提供的应用于服务器的图像处理方法。
本公开一示例性实施例还提供了一种计算机程序产品，计算机程序产品包括计算机软件指令，计算机软件指令可通过处理器进行加载来实现本公开任一实施例提供的应用于服务器的图像处理方法中的流程。
本公开一示例性实施例还提供了一种计算机程序产品，计算机程序产品包括计算机软件指令，计算机软件指令可通过处理器进行加载来实现本公开任一实施例提供的应用于服务器的图像处理方法中的流程。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (18)
1.一种图像处理方法，其特征在于，包括：
在预设情况下，终端将待渲染对象和所述待渲染对象的渲染参数发送到目标服务器，所述预设情况至少包括：所述终端与所述目标服务器之间的预测时延满足预设时延要求，且，所述终端的渲染性能对应的渲染复杂度低于目标渲染复杂度；所述待渲染对象包括虚拟对象和目标图像，所述终端将待渲染对象发送到目标服务器，包括：所述终端将所述目标图像和所述虚拟对象的渲染参数发送到目标服务器，所述虚拟对象用于动态显示在所述目标图像上；所述虚拟对象在目标图像上的显示位置、显示效果及虚拟对象的尺寸随时间变化；所述虚拟对象的渲染参数包括：所述虚拟对象的标识、终端中的传感器感应到的至少一种参数以及渲染效果触发指令中的至少一种；
所述终端接收所述目标服务器返回的渲染图像，其中，所述渲染图像是所述目标服务器对所述待渲染对象进行渲染处理后得到的；
所述终端显示所述渲染图像；
在除所述预设情况外的其他情况下，所述终端对所述待渲染对象进行渲染，获得渲染图像；
在所述终端与所述目标服务器之间的预测时延不满足所述预设时延要求时，更换所述终端当前采用的编码算法和/或传输算法，并基于更换后的算法再次确定所述终端与所述目标服务器之间的预测时延，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法；所述预测时延包括：图像处理时延和图像传输时延；
当所述图像传输时延不低于第一预设时长时，将所述终端当前采用的传输算法更换为传输速度更快的其他传输算法；
和/或，当所述图像处理时延不低于第二预设时长时，将所述终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法。
2.根据权利要求1所述的方法，其特征在于，所述预测时延包括：图像处理时延和图像传输时延，所述方法还包括：
当所述图像传输时延低于第三预设时长时，将所述终端当前采用的编码算法更换为编码质量更高的其他编码算法；
和/或，当所述图像传输时延不低于第一预设时长时，将所述终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法。
3.根据权利要求1所述的方法，其特征在于，所述目标图像为所述终端进行拍摄得到的图像，所述终端将所述目标图像和所述虚拟对象的渲染参数发送到目标服务器，包括：
所述终端将所述虚拟对象的渲染参数编码到所述终端进行拍摄得到的图像所对应的视频流中，将所述视频流发送到所述目标服务器，其中，所述视频流中视频帧的采集时刻与所述视频帧所携带的渲染参数的采集时刻匹配。
4.根据权利要求1所述的方法，其特征在于，所述渲染参数包括：所述终端中的传感器感应到的至少一种参数和/或渲染效果触发指令。
5.一种图像处理方法，其特征在于，包括：
服务器获得权利要求1~4任一所述图像处理方法中的终端在预设情况下发送的待渲染对象，所述预设情况至少包括：所述终端与所述目标服务器之间的预测时延满足预设时延要求，且，所述终端的渲染性能对应的渲染复杂度低于目标渲染复杂度；其中，所述终端的渲染性能对应的渲染复杂度低于目标渲染复杂度表征所述终端无法对待渲染对象进行完整地渲染；
所述服务器对所述待渲染对象进行渲染处理，获得渲染图像；
所述服务器将所述渲染图像发送至所述终端。
6.根据权利要求5所述的方法，其特征在于，所述待渲染对象包括虚拟对象和目标图像，所述服务器获得终端在预设情况下发送的待渲染对象，包括：
所述服务器获得终端在预设情况下发送的所述目标图像和所述虚拟对象的渲染参数。
7.根据权利要求6所述的方法，其特征在于，所述目标图像为所述终端进行拍摄得到的图像，所述服务器对所述待渲染对象进行渲染处理，获得渲染图像，包括：
当所述终端将所述虚拟对象的渲染参数编码到所述终端进行拍摄得到的图像所对应的视频流中时，所述服务器对所述视频流进行解码处理，获得多个视频帧及与所述视频帧所携带的渲染参数，其中，所述视频流中视频帧的采集时刻与所述视频帧所携带的渲染参数的采集时刻匹配；
根据所述视频帧所携带的渲染参数，将所述虚拟对象渲染到所述视频帧上。
8.根据权利要求6所述的方法，其特征在于，所述目标图像为所述终端进行拍摄得到的图像，所述服务器对所述待渲染对象进行渲染处理，获得渲染图像，包括：
所述服务器识别获得的所述目标图像中是否携带有渲染效果触发指令所对应的触发动作图像，如果是，则根据所述触发动作图像对应的渲染效果触发指令，将所述虚拟对象渲染到所述目标图像上。
9.一种图像处理装置，其特征在于，应用于终端中，所述图像处理装置包括：
对象发送单元，被配置为执行在预设情况下，将待渲染对象和所述待渲染对象的渲染参数发送到目标服务器，所述预设情况至少包括：所述终端与所述目标服务器之间的预测时延满足预设时延要求，且，所述终端的渲染性能对应的渲染复杂度低于目标渲染复杂度；
图像接收单元，被配置为执行接收所述目标服务器返回的渲染图像，其中，所述渲染图像是所述目标服务器对所述待渲染对象进行渲染处理后得到的；所述待渲染对象包括虚拟对象和目标图像，所述对象发送单元，被具体配置为执行：在预设情况下，将所述目标图像和所述虚拟对象的渲染参数发送到目标服务器，所述虚拟对象用于动态显示在所述目标图像上；所述虚拟对象在目标图像上的显示位置、显示效果及虚拟对象的尺寸随时间变化；所述虚拟对象的渲染参数包括：所述虚拟对象的标识、终端中的传感器感应到的至少一种参数以及渲染效果触发指令中的至少一种；
图像显示单元，被配置为执行显示所述渲染图像；
所述图像处理装置还包括：第一渲染单元，被配置为执行在除所述预设情况外的其他情况下，对所述待渲染对象进行渲染，获得渲染图像；
第一算法更换单元，被配置为执行在所述终端与所述目标服务器之间的预测时延不满足所述预设时延要求时，更换所述终端当前采用的编码算法和/或传输算法，并基于更换后的算法再次确定所述终端与所述目标服务器之间的预测时延，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法；
所述预测时延包括：图像处理时延和图像传输时延，所述图像处理装置还包括：第二算法更换单元和/或第三算法更换单元，
第二算法更换单元，被配置为执行当所述图像传输时延不低于第一预设时长时，将所述终端当前采用的传输算法更换为传输速度更快的其他传输算法；
第三算法更换单元，被配置为执行当所述图像处理时延不低于第二预设时长时，将所述终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法。
10.根据权利要求9所述的图像处理装置，其特征在于，所述预测时延包括：图像处理时延和图像传输时延，所述图像处理装置还包括：第四算法更换单元和/或第五算法更换单元，
第四算法更换单元，被配置为执行当所述图像传输时延低于第三预设时长时，将所述终端当前采用的编码算法更换为编码质量更高的其他编码算法；
第五算法更换单元，被配置为执行当所述图像传输时延不低于第一预设时长时，将所述终端当前采用的编码算法更换为编码质量更低的其他编码算法；
其中，所述终端当前采用的编码算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的编码算法，所述终端当前采用的传输算法为所述终端将待渲染对象发送到所述目标服务器的过程中所使用的传输算法。
11.根据权利要求9所述的图像处理装置，其特征在于，所述目标图像为所述终端进行拍摄得到的图像，所述对象发送单元，被具体配置为：在预设情况下，将所述虚拟对象的渲染参数编码到所述终端进行拍摄得到的图像所对应的视频流中，将所述视频流发送到所述目标服务器，其中，所述视频流中视频帧的采集时刻与所述视频帧所携带的渲染参数的采集时刻匹配。
12.根据权利要求9所述的图像处理装置，其特征在于，所述渲染参数包括：所述终端中的传感器感应到的至少一种参数和/或渲染效果触发指令。
13.一种图像处理装置，其特征在于，应用于服务器中，所述图像处理装置用于执行如权利要求5-8任一项所述的图像处理方法，所述图像处理装置包括：
对象获得单元，被配置为执行获得终端在预设情况下发送的待渲染对象，所述预设情况至少包括：所述终端与所述目标服务器之间的预测时延满足预设时延要求，且，所述终端的渲染性能对应的渲染复杂度低于目标渲染复杂度；第二渲染单元，被配置为执行对所述待渲染对象进行渲染处理，获得渲染图像；
图像发送单元，被配置为执行将所述渲染图像发送至所述终端；
所述图像处理装置还包括：第一渲染单元，被配置为执行在除所述预设情况外的其他情况下，对所述待渲染对象进行渲染，获得渲染图像。
14.根据权利要求13所述的图像处理装置，其特征在于，所述目标图像为所述终端进行拍摄得到的图像，所述第二渲染单元，包括：
解码子单元，被配置为执行：当所述终端将所述虚拟对象的渲染参数编码到所述终端进行拍摄得到的图像所对应的视频流中时，对所述视频流进行解码处理，获得多个视频帧及与所述视频帧所携带的渲染参数，其中，所述视频流中视频帧的采集时刻与所述视频帧所携带的渲染参数的采集时刻匹配；
渲染子单元，被配置为执行：根据所述视频帧所携带的渲染参数，将所述虚拟对象渲染到所述视频帧上。
15.根据权利要求13所述的图像处理装置，其特征在于，所述目标图像为所述终端进行拍摄得到的图像，所述第二渲染单元，被具体配置为执行：
识别获得的所述目标图像中是否携带有渲染效果触发指令所对应的触发动作图像，如果是，则根据所述触发动作图像对应的渲染效果触发指令，将所述虚拟对象渲染到所述目标图像上。
16.一种终端，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像处理方法。
17.一种服务器，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如权利要求5至8中任一项所述的图像处理方法。
18.一种存储介质，所述存储介质存储有可在处理器上运行的计算机执行指令，当所述存储介质中的计算机执行指令由终端的处理器执行时，使得所述终端能够执行如权利要求1至4中任一项所述的图像处理方法，和/或，当所述存储介质中的计算机执行指令由服务器的处理器执行时，使得所述服务器能够执行如权利要求5至8中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011361527.9A CN112565884B (zh) | 2020-11-27 | 2020-11-27 | 图像处理方法、装置、终端、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011361527.9A CN112565884B (zh) | 2020-11-27 | 2020-11-27 | 图像处理方法、装置、终端、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112565884A CN112565884A (zh) | 2021-03-26 |
| CN112565884B true CN112565884B (zh) | 2024-03-05 |
Family
ID=75046473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011361527.9A Active CN112565884B (zh) | 2020-11-27 | 2020-11-27 | 图像处理方法、装置、终端、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112565884B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781341B (zh) * | 2021-09-03 | 2024-02-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114253649B (zh) * | 2021-12-24 | 2024-04-09 | 武汉噢易云计算股份有限公司 | 图像渲染方法、装置、设备及可读存储介质 |
| CN114205359A (zh) * | 2022-01-27 | 2022-03-18 | 腾讯科技（深圳）有限公司 | 视频渲染协同方法、装置及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103888846A (zh) * | 2014-03-04 | 2014-06-25 | 浙江大学 | 基于QoE的无线视频流业务自适应速率控制方法 |
| CN105812097A (zh) * | 2016-03-16 | 2016-07-27 | 北京邮电大学 | 一种基于网络状态的amr编码速率自适应调整方法 |
| CN111245769A (zh) * | 2018-11-28 | 2020-06-05 | 深圳技威时代科技有限公司 | 一种音视频传输方法、装置和存储介质 |
| CN111445399A (zh) * | 2020-03-11 | 2020-07-24 | 西安万像电子科技有限公司 | 图像处理方法及系统 |
| CN111669444A (zh) * | 2020-06-08 | 2020-09-15 | 南京工业大学 | 基于边缘计算的云游戏服务质量增强方法及系统 |
| CN111901635A (zh) * | 2020-06-17 | 2020-11-06 | 北京视博云信息技术有限公司 | 一种视频处理方法、装置、存储介质及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150130814A1 (en) * | 2013-11-11 | 2015-05-14 | Amazon Technologies, Inc. | Data collection for multiple view generation |
-
2020
- 2020-11-27 CN CN202011361527.9A patent/CN112565884B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103888846A (zh) * | 2014-03-04 | 2014-06-25 | 浙江大学 | 基于QoE的无线视频流业务自适应速率控制方法 |
| CN105812097A (zh) * | 2016-03-16 | 2016-07-27 | 北京邮电大学 | 一种基于网络状态的amr编码速率自适应调整方法 |
| CN111245769A (zh) * | 2018-11-28 | 2020-06-05 | 深圳技威时代科技有限公司 | 一种音视频传输方法、装置和存储介质 |
| CN111445399A (zh) * | 2020-03-11 | 2020-07-24 | 西安万像电子科技有限公司 | 图像处理方法及系统 |
| CN111669444A (zh) * | 2020-06-08 | 2020-09-15 | 南京工业大学 | 基于边缘计算的云游戏服务质量增强方法及系统 |
| CN111901635A (zh) * | 2020-06-17 | 2020-11-06 | 北京视博云信息技术有限公司 | 一种视频处理方法、装置、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112565884A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112565884B (zh) | 图像处理方法、装置、终端、服务器及存储介质 | |
| KR102363364B1 (ko) | 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템 | |
| CN110557625A (zh) | 虚拟形象直播方法、终端、计算机设备及存储介质 | |
| US20140139619A1 (en) | Communication method and device for video simulation image | |
| CN106576158A (zh) | 沉浸式视频 | |
| CN106484349A (zh) | 直播信息的处理方法和装置 | |
| CN113099298B (zh) | 虚拟形象的改变方法、装置和终端设备 | |
| CN111627116A (zh) | 图像渲染控制方法、装置及服务器 | |
| EP2343685B1 (en) | Information processing device, information processing method, program, and information storage medium | |
| CN107332977B (zh) | 增强现实的方法及增强现实设备 | |
| CN114268741B (zh) | 转场动效生成方法、电子设备和存储介质 | |
| CN112598938A (zh) | 基于增强现实的认知功能训练系统、方法、装置、设备及存储介质 | |
| CN113965773A (zh) | 直播展示方法和装置、存储介质及电子设备 | |
| KR102503337B1 (ko) | 이미지 디스플레이 방법, 장치 및 시스템 | |
| CN109413152B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20220172440A1 (en) | Extended field of view generation for split-rendering for virtual reality streaming | |
| CN114268779A (zh) | 图像数据处理方法、装置、设备及计算机可读存储介质 | |
| EP3805899A1 (en) | Head mounted display system and scene scanning method thereof | |
| CN114616834A (zh) | 用于视频通话的基于面容的帧封装 | |
| CN112650596B (zh) | 目标数据的跨进程共享方法、装置、设备及存储介质 | |
| CN114241551A (zh) | 虚拟形象的展示方法和装置、存储介质及电子装置 | |
| CN114913058A (zh) | 显示对象的确定方法、装置、电子设备及存储介质 | |
| CN113515193A (zh) | 一种模型数据传输方法及装置 | |
| CN108924411B (zh) | 拍照控制方法及装置 | |
| CN114186203A (zh) | 一种账号认证方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |