CN116567242A - 图像处理方法、装置及设备 - Google Patents

图像处理方法、装置及设备 Download PDF

Info

Publication number
CN116567242A
CN116567242A CN202210101718.4A CN202210101718A CN116567242A CN 116567242 A CN116567242 A CN 116567242A CN 202210101718 A CN202210101718 A CN 202210101718A CN 116567242 A CN116567242 A CN 116567242A
Authority
CN
China
Prior art keywords
current frame
frame image
image
quantization parameter
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210101718.4A
Other languages
English (en)
Inventor
曹健
曹洪彬
黄永铖
陈思佳
张佳
杨小祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210101718.4A priority Critical patent/CN116567242A/zh
Priority to PCT/CN2022/135663 priority patent/WO2023142665A1/zh
Priority to US18/334,785 priority patent/US20230388526A1/en
Publication of CN116567242A publication Critical patent/CN116567242A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/77—Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开一种图像处理方法、装置及设备，可应用于图像处理、游戏、游戏基础技术等各种场景。该方法包括：对当前帧图像进行一次编码，以获取编码参数，编码参数指示当前帧图像是否存在场景切换；根据编码参数确定是否对当前帧图像重新编码；若是，则对当前帧图像重新编码，重新编码后的当前帧图像的数据量少于一次编码后的当前帧图像的数据量。本申请实施例通过当前帧图像的编码参数来确定是否对当前帧图像进行重新编码。本申请实施例通过编码参数确定是否对当前帧图像进行重新编码，如编码参数指示编码后的存在场景切换时确定对当前帧图像进行重新编码，以减小当前帧图像的数据量，可以有效避免出现数据量较大的帧，保持码率的平稳性。

Description

图像处理方法、装置及设备
技术领域
本申请涉及计算机技术领域，具体涉及一种图像处理方法、装置及设备。
背景技术
目前，终端会实时接收云端发送的码流(即，编码后的数据流)，然而，由于不同帧的内容可能存在较大差异，导致不同帧的码流的数据量会出现较大的波动，从而影响码率的平稳性。
发明内容
本申请实施例提供一种图像处理方法、装置及设备，可以有效避免出现数据量较大的帧，保持码率的平稳性。
一方面，提供一种图像处理方法，所述方法包括对当前帧图像进行一次编码，以获取编码参数，所述编码参数指示所述当前帧图像是否存在场景切换；根据所述编码参数确定是否对所述当前帧图像重新编码；若是，则对所述当前帧图像重新编码，重新编码后的所述当前帧图像的数据量少于所述一次编码后的所述当前帧图像的数据量。
另一方面，提供一种图像处理装置，所述装置包括第一编码模块、第一确定模块和第二编码模块。所述第一编码模块用于对当前帧图像进行一次编码，以获取编码参数，所述编码参数指示所述当前帧图像是否存在场景切换；所述第一确定模块用于根据所述编码参数确定是否对所述当前帧图像重新编码；所述第二编码模块用于在确定对所述当前帧图像重新编码时，对所述当前帧图像重新编码，重新编码后的所述当前帧图像的数据量少于所述一次编码后的所述当前帧图像的数据量。
另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的图像处理方法中的步骤。
另一方面，提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的图像处理方法中的步骤。
本申请实施例通过获取当前帧图像的编码参数来确定是否对当前帧图像进行重新编码，从而通过重新编码来减小当前帧图像的数据量。本申请实施例通过编码参数确定是否对当前帧图像进行重新编码，如编码参数指示编码后的存在场景切换时确定对当前帧图像进行重新编码，以减小当前帧图像的数据量，可以有效避免出现数据量较大的帧，保持码率的平稳性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的应用场景示意图。
图2为本申请实施例提供的图像处理系统的结构示意图。
图3至图13为本申请实施例提供的图像处理方法的流程示意图。
图14为本申请实施例提供的图像处理装置的结构示意图。
图15为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种图像处理方法、装置、计算机设备和存储介质。具体地，本申请实施例的图像处理方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、台式计算机、智能电视、智能音箱、穿戴式智能设备、智能车载终端等设备，终端还可以包括客户端，该客户端可以是云游戏客户端、客户端小程序、视频客户端、浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本申请实施例可应用于可应用于图像处理、游戏、游戏基础技术等各种场景。
例如，当该方法运行于服务器时，可以为云游戏。云游戏是指以云计算为基础的游戏方式。在云游戏的运行模式下，游戏应用程序的运行主体和游戏画面呈现主体是分离的，方法的储存与运行是在云游戏服务器上完成的。而游戏画面呈现是在云游戏的客户端完成的，云游戏客户端主要用于游戏数据的接收、发送以及游戏画面的呈现，例如，云游戏客户端可以是靠近用户侧的具有数据传输功能的显示设备，如，移动终端、电视机、计算机、掌上电脑、个人数字助理等，但是进行游戏数据处理的终端设备为云端的云游戏服务器。在进行游戏时，用户操作云游戏客户端向云游戏服务器发送操作指令，云游戏服务器根据操作指令运行游戏，将游戏画面等数据进行编码压缩，通过网络返回云游戏客户端，最后，通过云游戏客户端进行解码并输出游戏画面。
首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语作如下解释：
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云游戏(Cloud gaming)又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端，而是在云端服务器中运行，并由云端服务器将游戏场景渲染为视频音频流，通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。
视频编码：通过压缩技术，将原始视频格式的文件转换成另一种视频格式文件的方式，转化成的数据可以称为码流。
视频解码：视频编码的逆向过程。
IDR帧：即时解码刷新IDR帧(Instantaneous Decoding Refresh Frame，IDR)，视频编码技术中定义的一种编码帧类型。IDR帧仅采用帧内预测编码，解码器不需要其他帧的信息即可独立解码出IDR帧的内容。IDR帧一般作为后续帧的参考帧，也作为码流切换的切入点。
帧内预测:使用同一帧图像内邻近已编码像素预测当前的像素，无需参考已编码图像。
帧间预测：使用临近已编码图像像素预测当前的像素，需要参考已编码图像。
量化参数：视频编码的量化步骤用到的参数。量化越大，压缩率越高，但是图像的画质会下降，反之亦然。
云服务器是指在云端运行游戏的服务器，并具备视频增强(编码前处理)、视频编码等功能。
终端是指一类具备丰富人机交互方式、拥有接入互联网能力、通常搭载各种操作系统、具有较强处理能力的设备。终端包括智能手机、客厅电视、平板电脑、车载终端、掌上游戏主机等。
为了让云服务器和终端进行更好的配合协同，实现联合优化，可以在云游戏过程中，根据终端的硬件能力和实时性能，合理调配视频编码配置，合理调配视频图像处理、视频内容分析等计算任务，在有限的云服务器资源下，进一步提升的云游戏画质体验。
视频编码协同：根据终端的编解码能力，并结合游戏类型、用户网络类型，选择最优的编解码配置和编解码策略。
视频渲染协同：根据终端的图形处理能力，对视频渲染任务进行合理划分，使云服务器和终端能有效协同，以提升视频画质。包括渲染区域协同、渲染任务协同、视频分析和处理协同等。
终端状态协同：根据终端运行的实时性能，动态调整云服务器和终端的编码协同任务和渲染协同策略，实时保障用户最优体验。
云服务器、终端协同架构主要包括：云服务器、端云协同策略、端云协同协议、终端协同接口、软硬件协同模块等几部分。
端云协同策略包括：视频编码协同策略、视频渲染协同策略、终端状态协同策略。云服务器根据终端上报的设备能力，并结合游戏类型以及用户网络环境，制定最优的视频编码渲染协同策略。同时，云服务器通过终端状态协同，实时获取终端的运行性能，动态调整端云协同策略。
端云协同协议是指云服务器和终端进行数据交互的统一协议。
终端协同接口是指终端软硬件模块接口，通过该接口可以与终端有效交互，配置视频编码、渲染参数，获取硬件实时运行性能。
其中，解码协议包括H264、H265、AV1等视频编解码协议，以及在各编解码协议下终端支持的Profile和Level。解码性能指在特定的解码协议下，对给定的视频尺寸，支持的最高解码帧率和单帧解码延时。
其中，视频尺寸定义如下：360p，576p，720p，1080p，2k，4k。视频帧率定义如下：30fps，40fps，50fps，60fps，90fps，120fps。
终端所支持的解码性能以三元组形式给出，第一个元素是视频分辨率的枚举定义，第二个元素是视频帧率的枚举定义，第三个元素是视频分辨率和视频帧率下的单帧解码延时，如设备A的H264解码，在720p@60fps下的单帧解码延时是10ms。
云服务器根据游戏类型、网络状况确定需要启用的编码功能集合，再通过终端上报的设备类型、编码能力，确定当前设备最优的编码配置。
其中，终端解码能力数据结构要求如表1所示：
表1终端解码能力数据结构要求
云服务器根据终端的解码能力，并结合游戏类型、网络通信信息，确定当前设备最优的解码协议、解码分辨率、视频帧率等编解码配置，以及视频编码参考帧数量、SVC启用等编解码策略。
如图1所示的视频渲染协同优化连接流程的示意图：
1、云服务器通过START客户端(即云游戏客户端)向终端发起请求，获取终端解码能力信息。请求协议字段包括协议版本号、具体编解码协议查询。
2、终端在接收到能力信息获取请求时，返回状态标记(成功0，失败为具体错误码)、支持的协议版本号、终端设备能力信息。若终端只支持部分解码协议，则返回支持的解码协议信息；若终端不支持解码协议，则返回codecs＝0；终端能力信息请求失败，则返回具体的错误码。
3、云服务器收到终端解码能力信息以后，结合游戏类型、网络通信信息，确定当前终端设备最优的解码协议、解码分辨率、视频帧率等编解码配置，以及视频编码参考帧数量、SVC启用等编解码策略。
4、终端收到最优解码配置后，进行视频流的解码。
其中，START客户端是一种云游戏客户端，该START客户端安装于终端上。
其中，频编码协同优化连接协议示例如下：
1、视频解码能力请求：
2、视频解码能力响应(支持所有查询解码协议)：
3、视频解码能力响应(只支持部分查询解码协议)：
4、视频解码能力请求(不支持解码协议)：
5、视频解码能力请求(协议请求失败)：
目前，云游戏厂商为了大幅降低编码耗时，主要依赖硬件编码器进行编码，然后传输到终端进行播放。硬件编码器虽然编码速度极快，但是目前并没有检测场景切换。同时，发生场景切换时，硬件编码器通常会插入一个尺寸很大的帧，导致传输码率的平稳性下降。
本申请实施例提出一种图像处理方法，可以根据编码参数确定是否对当前帧图像进行重新编码，如在发生场景切换时，当前帧图像的数据量变得较大时，可确定对当前帧图像进行重新编码，以减小当前帧图像的数据量，可以有效避免出现数据量较大的帧，保持码率的平稳性。
请参考图2，图2为本申请实施例提供的图像处理系统的结构示意图。该图像处理系统包括终端10和服务器20等；终端10和服务器20之间通过网络连接，比如，通过有线或无线网络连接等。
其中，终端10，可以用于显示图形用户界面。其中，该终端10用于通过图形用户界面与用户进行交互，例如通过终端10下载安装相应的客户端并运行，例如通过调用相应的小程序并运行，例如通过登录网站呈现相应的图像用户界面等。在本申请实施例中，该终端10可以为用户用于接收服务器20传输的码流以显示游戏画面的终端设备。其中，服务器20将编码后的码流传输到终端10，终端10接收码流并进行解码，然后根据解码后的视频数据进行视频播放、游戏画面的展示等。
其中，在本申请实施例中，在进行编码时，服务器20可以具体用于：对当前帧图像进行编码，以获取编码参数；根据编码参数确定是否对当前帧图像重新编码；若是，则对当前帧图像重新编码，以减小当前帧图像的数据量。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。
本申请各实施例提供了一种图像处理方法，该方法可以由终端10或服务器20执行，也可以由终端10和服务器20共同执行；本申请实施例以图像处理方法由服务器20执行为例来进行说明。
请参阅图3，图像处理方法包括：
步骤210，对当前帧图像进行一次编码，以获取编码参数，编码参数指示当前帧图像是否存在场景切换。
服务器20能够获取连续多帧原始图像，其中，原始图像指的是未经过编码的图像，然后服务器20可对原始图像进行编码，对于当前进行编码的原始图像即为当前帧图像，从而得到当前帧图像的编码参数。编码参数可用于指示当前帧图像是否存在场景切换。
可选地，编码参数包括图像尺寸，图像尺寸用于表示当前帧图像编码后码流的数据量的大小，图像尺寸越大，表示当前帧图像编码后的数据量越大。
可选地，编码参数还可包括帧内预测像素的比例，可以理解，帧内预测像素的比例越大，表示当前帧图像发生场景切换的几率越大。
步骤220，根据编码参数确定是否对当前帧图像重新编码。
在得到当前帧图像的编码参数后，可根据当前帧图像的编码参数判断是否对当前帧图像进行重新编码。
可选地，为了保证码率(即，单位时间内使用的数据量)的平稳性，在当前帧图像编码后的图像尺寸过大时，会导致传输需要的码率增加，影响码率的平稳性。
因此，服务器20可通过判断当前帧图像编码后的图像尺寸是否大于尺寸阈值，若大于尺寸阈值，则说明需要重新编码以减小图像尺寸，从而减小当前帧图像编码后的数据量。其中，编码参数还可以包括当前编码帧率和当前编码码率，尺寸阈值可以根据当前编码帧率和当前编码码率来确定，如尺寸阈值＝当前编码码率/当前编码帧率，即将尺寸阈值和平均每帧分配到的数据量进行对比，从而在当前帧图像编码后的图像尺寸大于尺寸阈值时，确定需要重新编码当前帧图像，以减小当前帧图像占用的数据量，保证码率的平稳。
可选地，在存在场景切换时，当前帧图像编码后的数量量一般较大，因此，在存在场景切换时，也可确定当前帧图像需要重新编码。
服务器20可通过判断当前帧图像编码后的帧内预测像素的比例是否大于预设比例，例如预设比例可以是70％、80％、85％、89％、95％等。在帧内预测像素的比例大于预设比例时，则可确定当前帧图像存在场景切换，服务器20确定需要对当前帧图像进行重新编码，以减小当前帧图像编码后的数据量。
可选地，如图4和5所示，步骤220还可以是：在当前帧图像不是即时解码刷新IDR帧时，根据编码参数确定是否对当前帧图像重新编码。
在当前帧图像不是IDR帧时，当前帧图像可不作为后续图像的参考图像，对当前帧图像进行重新编码，不会影响后续图像的编码。因此，在当前帧图像不是即时解码刷新IDR帧时，才会根据编码参数确定来是否对当前帧图像重新编码。
步骤230，若确定对当前帧图像重新编码，则对当前帧图像重新编码，重新编码后的当前帧图像的数据量少于该一次编码后的当前帧图像的数据量。
在确定对当前帧图像进行重新编码后，服务器20可对当前帧图像重新编码，重新编码后的当前帧图像的数据量少于未重新编码前的当前帧图像的数据量，从而减小传输当前帧图像所需的数据量。
可选地，服务器20可通过调节编码参数中的平均量化参数的方式，实现当前帧图像的重新编码。平均量化参数设置的越大，当前帧图像的重新编码后的数据量越小，从而在当前帧图像发生场景切换、当前帧图像的图像尺寸较大等可能导致当前帧图像编码后的数据量较大的情况下，以较大的平均量化参数(如在当前帧图像的编码参数的平均量化参数的基础上增加大于0的预定数值)重新对当前帧图像进行编码，从而减小当前帧图像编码后的数据量，防止码率出现波动以保证码率的平稳性，对于云游戏场景而言，码率的平稳有利于提升游戏体验。
可选地，如图4所示，图像处理方法还包括：
步骤240，在当前帧图像为即时解码刷新IDR帧(Instantaneous DecodingRefresh Frame，IDR)时，确定即时解码刷新IDR帧的编码参数作为参考编码参数，并传输即时解码刷新IDR帧。
在当前帧图像为IDR帧时，此时可能是图像群组(Group of pictures,GOP)的首帧，其编码信息会作为后续确定IDR帧的参考信息，所以无需重新编码。因此，在当前帧图像为IDR帧时，即使当前帧图像的图像尺寸较大或者存在场景切换，也不会对该IDR帧进行重新编码，而是直接传输该IDR帧，保证编码效率。
可选地，如图5所示，图像处理方法还包括：
步骤250，将重新编码的当前帧图像确定为即时解码刷新IDR帧并进行传输。
可以理解，当前帧图像进行重新编码，说明当前帧图像可能存在场景切换，后续图像可能均为切换后的场景内的内容。因此，将重新编码的当前帧图像作为IDR帧，以作为后续图像进行编码的参考帧，能够提升后续图像的编码准确性。
为了更好的说明本申请实施例提供的图像处理方法，请再次参阅图3至图6，本申请实施例提供的图像处理方法的流程可总结归纳为下述步骤：
步骤510，对当前帧图像进行编码，以获取编码参数。
步骤520，判断当前帧图像是否为即时解码刷新IDR帧。
步骤530，在当前帧图像不是即时解码刷新IDR帧时，确定是否对当前帧图像重新编码。
步骤540，在当前帧图像为即时解码刷新IDR帧时，确定IDR帧的平均量化参数为参考量化参数、及确定IDR帧的图像尺寸为参考图像尺寸。
步骤550，重新设置平均量化参数，对当前帧图像重新编码得到码流，并确定当前帧图像为即时解码刷新IDR帧。
步骤560，传输码流。
其中，步骤210可参阅步骤210的描述，步骤520和步骤530可参阅步骤220和步骤240的描述，步骤540可参阅步骤230和步骤250的描述，步骤550可参阅步骤240的描述，步骤560可参阅步骤240和步骤250。
可选的，如图7所示，步骤220可通过步骤221至步骤222来实现，具体为：
步骤221，在帧内预测像素的比例大于预设比例时，确定当前帧图像存在场景切换。
可选地，编码参数包括帧内预测像素的比例，在服务器20对当前帧图像编码后，即可得到当前帧图像中，帧内预测像素的比例。然后，服务器20将帧内预测像素的比例和预设比例进行比较，若帧内预测像素的比例大于预设比例，说明当前帧图像中大部分的像素均是通过帧内预测得到，大概率是因为发生场景切换导致当前帧图像与上一帧或者上一个IDR帧的差异过大，无法准确地进行帧间预测，从而需要根据帧内预测实现像素的填充。
因此，在帧内预测像素的比例大于预设比例时，服务器20可确定当前帧图像存在场景切换，而在帧内预测像素的比例小于或等于预设比例时，服务器20可确定当前帧图像不存在场景切换。或者，在帧内预测像素的比例大于或等于预设比例时，服务器20可确定当前帧图像存在场景切换；或者，而在帧内预测像素的比例小于预设比例时，服务器20可确定当前帧图像不存在场景切换。
步骤222，在当前帧图像存在场景切换时，确定对当前帧图像重新编码。
在当前帧图像存在场景切换时，目前的硬件编码器在对当前帧图像进行编码后，通常会生成一个数据量很大的帧，导致码率平稳性下降。因此，在确定当前帧图像存在场景切换时，就确定需要对当前帧图像进行重新编码，以减小当前帧图像编码后的数据量。
可选地，如图8所示，步骤220可通过步骤223至步骤226来实现，具体为：
步骤223，在帧内预测像素的比例大于预设比例时，确定当前帧图像存在场景切换。
其中，步骤223的实现与步骤221基本相同，请参考步骤221的描述，在此不再赘述。
步骤224，根据当前编码帧率和当前编码码率，确定尺寸阈值。
在确定当前帧图像存在场景切换时，需要进一步确定当前帧图像编码后的图像尺寸是否过大。
编码参数还可包括帧内预测像素的比例、图像尺寸、当前编码帧率和当前编码码率。
服务器20可通过当前编码帧率和当前编码码率来先确定一个与当前帧图像对应的尺寸阈值，如尺寸阈值＝当前编码码率/当前编码帧率。
当然，通过当前编码码率/当前编码帧率计算得到的尺寸阈值与每帧的平均图像尺寸基本相同，因此，可对尺寸阈值进行扩大，如尺寸阈值＝1.5*当前编码码率/当前编码帧率。在当前帧图像编码后的图像尺寸大于1.5倍的平均图像尺寸(即，当前编码码率/当前编码帧率)时，确定当前帧图像编码后的图像尺寸过大；或者，在当前帧图像编码后的图像尺寸大于或等于1.5倍的平均图像尺寸时，确定当前帧图像编码后的图像尺寸过大。尺寸阈值还可以是其他倍率的平均图像尺寸，如1.2倍、1.3倍、1.4倍等，可根据对码率控制的平稳性需求进行设置。
如此，通过与当前帧图像对应的尺寸阈值和当前帧图像编码后的图像尺寸进行比较，可更为准确地判断当前帧图像编码后的图像尺寸是否过大。
步骤225，在当前帧图像存在场景切换且图像尺寸大于尺寸阈值时，确定对当前帧图像重新编码。
在当前帧图像存在场景切换且图像尺寸大于(或者，大于或等于)尺寸阈值时，说明当前帧图像不仅发生了场景切换，且场景切换导致了编码后逇图像尺寸也变得较大，可确定需要对当前帧图像进行重新编码，以减小当前帧图像编码后的数据量。
步骤226，在当前帧图像不存在场景切换时，或者，在当前帧图像存在场景切换、且当前帧图像的图像尺寸小于尺寸阈值时，确定不对当前帧图像重新编码。
而在当前帧图像不存在场景切换，或者当前帧图像存在场景切换、但当前帧图像编码后的图像尺寸却小于(或者，小于或等于)尺寸阈值时，说明当前帧图像编码后的数据量并不大，并不需要进行重新编码也能够保证码率平稳性。
为了更好的说明本申请实施例提供的图像处理方法，请再次参阅图7至图9，本申请实施例提供的图像处理方法的流程可总结归纳为下述步骤：
步骤810，对当前帧图像进行编码，以获取编码参数。
步骤820，帧内预测像素的比例是否大于预设比例。
步骤830，图像尺寸是否大于尺寸阈值。
步骤840，在帧内预测像素的比例大于预设比例且图像尺寸大于尺寸阈值时，确定需要重新编码。
步骤850，在帧内预测像素的比例小于预设比例时，或者，在帧内预测像素的比例大于预设比例、且当前帧图像的图像尺寸小于尺寸阈值时，不需要重新编码。
其中，步骤810可参阅步骤210的描述，步骤820可参阅步骤223的描述，步骤830可参阅步骤224和步骤225的描述，步骤840可参阅步骤225的描述，步骤850可参阅步骤226的描述。
可选地，如图10所示，步骤230可通过步骤231至步骤233来实现，具体为：
步骤231，在平均量化参数大于参考平均量化参数时，根据第一调整值调整平均量化参数。
其中，参考平均量化参数根据当前帧图像之前的即时解码刷新IDR帧的平均量化参数确定。
例如，编码参数还包括平均量化参数，在对当前帧图像进行重新编码时，可首先判断当前帧图像编码后的平均量化参数是否大于(或者，大于或等于)参考平均量化参数。
例如，若当前帧图像编码后的平均量化参数大于(或者，大于或等于)参考平均量化参数，此时可根据第一调整值来对当前帧图像编码后的平均量化参数进行调整。根据第一调整值调整后，当前帧图像编码后的平均量化参数增加第一调整值，使得当前帧图像编码的压缩率更高，从而减小当前帧图像编码后的数据量。
其中，参考平均量化参数根据当前帧图像之前已编码的即时解码刷新IDR帧的平均量化参数确定。例如，参考平均量化参数等于当前帧图像之前的上一帧IDR帧的平均量化参数。参考平均量化参数根据当前帧图像之前的上一帧IDR帧的平均量化参数确定，可提高参考平均量化参数的确定准确性。
由于当前帧图像编码时已经使用了较大的平均量化参数，为了防止重新编码后，当前帧图像的压缩率过大，导致当前帧图像失真，第一调整值可设置的较小，如第一调整值为1、2等。
步骤232，在平均量化参数小于参考平均量化参数时，根据第二调整值调整平均量化参数，第二调整值大于第一调整值。
例如，若当前帧图像编码后的平均量化参数小于(或者，小于或等于)参考平均量化参数，则此时可根据第二调整值来对当前帧图像编码后的平均量化参数进行调整。根据第二调整值调整后，当前帧图像编码后的平均量化参数增加第二调整值，使得当前帧图像编码的压缩率更高，从而减小当前帧图像编码后的数据量。
由于当前帧图像编码时使用了较小的平均量化参数，为了防止重新编码后，当前帧图像的数据量依旧较大，第二调整值可设置的较大，如第二调整值为3、4、5等，从而保证当前帧图像重新编码后的数据量不会过大，以保证码率的平稳性。
步骤233，根据调整后的平均量化参数对当前帧图像重新编码。
最后，服务器20根据调整后的平均量化参数来对当前帧图像重新编码，从而在保证重新编码后的当前帧图像不失真的情况下，最大化的减小当前帧图像重新编码后的数据量，保证码率的平稳性。
可选地，如图11所示，步骤230还可通过步骤234至步骤236来实现，具体为：
步骤234，在图像尺寸小于参考图像尺寸时，根据第一调整值调整平均量化参数。
其中，参考图像尺寸根据当前帧图像之前的即时解码刷新IDR帧的图像尺寸确定。
例如，编码参数还包括图像尺寸，在对当前帧图像进行重新编码时，可首先判断当前帧图像编码后的图像尺寸是否小于(或者，小于或等于)参考图像尺寸。
例如，若当前帧图像编码后的图像尺寸小于(或者，小于或等于)参考图像尺寸，此时可根据第一调整值来对当前帧图像编码后的平均量化参数进行调整。根据第一调整值调整后，当前帧图像编码后的平均量化参数增加第一调整值，使得当前帧图像编码的压缩率更高，从而减小当前帧图像编码后的数据量。
其中，参考图像尺寸根据当前帧图像之前已编码的即时解码刷新IDR帧的图像尺寸确定。例如，参考图像尺寸等于当前帧图像之前的上一帧IDR帧的图像尺寸。参考图像尺寸根据当前帧图像之前的上一帧IDR帧的图像尺寸确定，可提高参考图像尺寸的确定准确性。
由于当前帧图像编码后的图像尺寸已经较小，为了防止重新编码后，当前帧图像的压缩率过大，导致当前帧图像失真，第一调整值可设置的较小，如第一调整值为1、2等。
步骤235，在图像尺寸大于参考图像尺寸时，根据第二调整值调整平均量化参数，第二调整值大于第一调整值。
例如，若当前帧图像编码后的图像尺寸大于(或者，大于或等于)参考图像尺寸，则此时可根据第二调整值来对当前帧图像编码后的平均量化参数进行调整。根据第二调整值调整后，当前帧图像编码后的平均量化参数增加第二调整值，使得当前帧图像编码的压缩率更高，从而减小当前帧图像编码后的数据量。
由于当前帧图像编码后的图像尺寸较大，为了防止重新编码后，当前帧图像的数据量依旧较大，第二调整值可设置的较大，如第二调整值为3、4、5等，从而保证当前帧图像重新编码后的数据量不会过大，以保证码率的平稳性。
步骤236，根据调整后的平均量化参数对当前帧图像重新编码。
最后，服务器20根据调整后的平均量化参数来对当前帧图像重新编码，从而在保证重新编码后的当前帧图像不失真的情况下，最大化的减小当前帧图像重新编码后的数据量，保证码率的平稳性。
可选地，如图12所示，步骤230还可通过步骤237至步骤239来实现，具体为：
步骤237，在平均量化参数大于参考平均量化参数，且图像尺寸小于参考图像尺寸时，根据第一调整值调整平均量化参数。
其中，参考平均量化参数根据当前帧图像之前的即时解码刷新IDR帧的平均量化参数确定，参考图像尺寸根据当前帧图像之前的即时解码刷新IDR帧的图像尺寸确定。
在对当前帧图像进行重新编码时，可首先判断当前帧图像编码后的平均量化参数是否大于(或者，大于或等于)参考平均量化参数，及当前帧图像编码后的图像尺寸是否小于(或者，小于或等于)参考图像尺寸。
若当前帧图像编码后的平均量化参数大于(或者，大于或等于)参考平均量化参数且当前帧图像编码后的图像尺寸小于(或者，小于或等于)参考图像尺寸，此时可根据第一调整值来对当前帧图像编码后的平均量化参数进行调整。根据第一调整值调整后，当前帧图像编码后的平均量化参数增加第一调整值，使得当前帧图像编码的压缩率更高，从而减小当前帧图像编码后的数据量。
其中，参考平均量化参数和参考图像尺寸的确定请分别参阅步骤231和步骤234的描述，在此不再赘述。
由于当前帧图像编码时已经使用了较大的平均量化参数，且当前帧图像编码后的图像尺寸较小，为了防止重新编码后，当前帧图像的压缩率过大，导致当前帧图像失真，第一调整值可设置的较小，如第一调整值为1、2等。
步骤238，在平均量化参数小于参考平均量化参数时，或者，在平均量化参数大于参考平均量化参数且图像尺寸大于参考图像尺寸时，根据第二调整值调整平均量化参数。
其中，第二调整值大于第一调整值。
例如，在当前帧图像编码后的平均量化参数小于(或者，小于或等于)参考平均量化参数时，或者，在当前帧图像编码后的平均量化参数大于(或者，大于或等于)参考平均量化参数且当前帧图像编码后的图像尺寸大于(或者，大于或等于)参考图像尺寸时，此时可根据第二调整值来对当前帧图像编码后的平均量化参数进行调整。根据第二调整值调整后，当前帧图像编码后的平均量化参数增加第二调整值，使得当前帧图像编码的压缩率更高，从而减小当前帧图像编码后的数据量。
由于当前帧图像编码时使用了较小的平均量化参数，或者当前帧图像编码时使用了较大的平均量化参数但当前帧图像编码后的图像尺寸依旧较大，为了防止重新编码后，当前帧图像的数据量依旧较大，第二调整值可设置的较大，如第二调整值为3、4、5等，从而保证当前帧图像重新编码后的数据量不会过大，以保证码率的平稳性。
步骤239，根据调整后的平均量化参数对当前帧图像重新编码。
最后，服务器20根据调整后的平均量化参数来对当前帧图像重新编码，从而在保证重新编码后的当前帧图像不失真的情况下，最大化的减小当前帧图像重新编码后的数据量，保证码率的平稳性。
可选的，该方法还包括：
通过云游戏客户端向终端发送获取终端的编解码能力信息的请求；
接收终端上传的编解码能力信息；
根据编解码能力信息、终端运行的游戏的类型和网络通信信息，确定的目标编解码配置和目标编解码策略；
对当前帧图像进行一次编码，以获取编码参数，包括：
根据目标编解码配置和目标编解码策略对当前帧图像进行一次编码，以获取编码参数。
例如，请结合图1所示的流程示意图，云端(云服务器)通过云游戏客户端(比如START客户端)向终端(智能终端)发起编解码能力信息的获取请求，获取终端的编解码能力信息。
其中，请求协议字段可以包括协议版本号、具体编解码协议查询等信息。终端在接收到能力信息获取请求时，上传编解码能力信息到云游戏客户端，通过云游戏客户端向云端返回终端的编解码能力信息，该编解码能力信息可以包括状态标记、支持的协议版本号、终端设备能力信息，该终端设备能力信息可以包括终端编码能力信息和终端解码能力信息。
其中，能力信息获取请求可以包括解码能力请求和/或编码能力请求。云端收到编解码能力信息后，可以根据编解码能力信息、游戏类型以及网络通信信息，确定目标编解码配置和目标编解码策略，该目标编解码配置可以包括最优编码配置和最优解码配置，最优解码配置可包括当前终端设备最优的解码协议、解码分辨率、视频帧率等，该目标编解码策略可以包括视频编码参考帧数量、SVC启用等。
其中，云端可以根据游戏类型、网络状况确定需要启用的编码功能集合，再通过终端上报的设备类型、编码能力信息，确定当前终端的最优编码配置；云端可以根据终端的解码能力信息，并结合游戏类型、网络状况，确定当前终端最优的解码协议、解码分辨率、视频帧率等最优解码配置，以及视频编码参考帧数量、SVC启用等编解码策略。
云端可根据目标编解码配置(具体可为最优编码配置)和目标编解码策略对当前帧图像进行一次编码，以获取编码参数。
为了更好的说明本申请实施例提供的图像处理方法，请再次参阅图10至图13，本申请实施例提供的图像处理方法的流程可总结归纳为下述步骤：
步骤1210，对当前帧图像进行编码，以获取编码参数。
步骤1220，平均量化参数是否大于参考平均量化参数。
步骤1230，图像尺寸是否大于尺寸阈值。
步骤1240，在平均量化参数大于参考平均量化参数，且图像尺寸小于参考图像尺寸时，根据第一调整值调整平均量化参数。
步骤1250，在平均量化参数小于参考平均量化参数时，或者，在平均量化参数大于参考平均量化参数且图像尺寸大于参考图像尺寸时，根据第二调整值调整平均量化参数。
其中，步骤1210可参阅步骤210的描述，步骤1220和步骤1230可参阅步骤237和步骤238的描述，步骤1240可参阅步骤237的描述，步骤1250可参阅步骤238的描述。
为了更好的说明本申请实施例提供的图像处理方法，请再次参阅图3至图13，本申请实施例提供的图像处理方法的流程可总结归纳为下述步骤：
步骤210，对当前帧图像进行一次编码，以获取编码参数。
步骤220，根据编码参数确定是否对当前帧图像重新编码。
其中，步骤220具体可通过步骤221和步骤222实现；或者，步骤220具体可通过步骤223至步骤226实现。
步骤230，若确定对当前帧图像重新编码，则对当前帧图像重新编码，重新编码后的当前帧图像的数据量少于该一次编码后的当前帧图像的数据量。
其中，步骤220具体可通过步骤231至步骤223实现、或者步骤234至步骤226实现、或者步骤237至步骤229实现。
上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本申请实施例通过获取当前帧图像的编码参数来确定是否对当前帧图像进行重新编码，从而通过重新编码来减小当前帧图像的数据量。本申请实施例通过编码参数确定是否对当前帧图像进行重新编码，如编码参数指示编码后的存在场景切换时确定对当前帧图像进行重新编码，以减小当前帧图像的数据量，可以有效避免出现数据量较大的帧，保持码率的平稳性。
另外，本申请实施例还可以通过判断场景切换和图像尺寸配合，更准确地确定是否需要重新编码，并通过当前帧图像的平均量化参数和图像尺寸来确定对当前帧图像的平均量化参数的调整幅度，从而在保证重新编码后的当前帧图像不失真的情况下，最大化的减小当前帧图像重新编码后的数据量，保证码率的平稳性。
为便于更好的实施本申请实施例的图像处理方法，本申请实施例还提供一种图像处理装置。请参阅图14，图14为本申请实施例提供的图像处理装置的结构示意图。其中，该图像处理装置1000可以包括：
第一编码模块1010，用于对当前帧图像进行一次编码，以获取编码参数；
第一确定模块1020，用于根据编码参数确定是否对当前帧图像重新编码；
第二编码模块1030，用于在确定对当前帧图像重新编码时，对当前帧图像重新编码，重新编码后的当前帧图像的数据量少于该一次编码后的当前帧图像的数据量。
可选地，第一确定模块1020具体还可用于：
在帧内预测像素的比例大于预设比例时，确定当前帧图像存在场景切换；
在当前帧图像存在场景切换时，确定对当前帧图像重新编码。
可选地，第一确定模块1020具体还可用于：
在帧内预测像素的比例大于预设比例时，确定当前帧图像存在场景切换；
根据当前编码帧率和当前编码码率，确定尺寸阈值；
在当前帧图像存在场景切换且图像尺寸大于尺寸阈值时，确定对当前帧图像重新编码；
在当前帧图像不存在场景切换时，或者，在当前帧图像存在场景切换、且当前帧图像的图像尺寸小于尺寸阈值时，确定不对当前帧图像重新编码。
可选地，第二编码模块1030具体还可用于：
在平均量化参数大于参考平均量化参数时，根据第一调整值调整平均量化参数，参考平均量化参数根据当前帧图像之前的即时解码刷新IDR帧的平均量化参数确定；
在平均量化参数小于参考平均量化参数时，根据第二调整值调整平均量化参数，第二调整值大于第一调整值；
根据调整后的平均量化参数对当前帧图像重新编码。
可选地，第二编码模块1030具体还可用于：
在图像尺寸小于参考图像尺寸时，根据第一调整值调整平均量化参数，参考图像尺寸根据当前帧图像之前的即时解码刷新IDR帧的图像尺寸确定；
在图像尺寸大于参考图像尺寸时，根据第二调整值调整平均量化参数，第二调整值大于第一调整值；
根据调整后的平均量化参数对当前帧图像重新编码。
可选地，第二编码模块1030具体还可用于：
在平均量化参数大于参考平均量化参数，且图像尺寸小于参考图像尺寸时，根据第一调整值调整平均量化参数，参考平均量化参数根据当前帧图像之前的即时解码刷新IDR帧的平均量化参数确定，参考图像尺寸根据当前帧图像之前的即时解码刷新IDR帧的图像尺寸确定；
在平均量化参数小于参考平均量化参数时，或者，在平均量化参数大于参考平均量化参数且图像尺寸大于参考图像尺寸时，根据第二调整值调整平均量化参数，第二调整值大于第一调整值；
根据调整后的平均量化参数对当前帧图像重新编码。
可选的，该图像处理装置1000还可包括第二确定模块1040，第二确定模块1040用于在当前帧图像为即时解码刷新IDR帧时，确定即时解码刷新IDR帧的编码参数作为参考编码参数，并传输即时解码刷新IDR帧。
可选的，该图像处理装置1000还可包括第三确定模块1050，第三确定模块1050用于将重新编码的当前帧图像确定为即时解码刷新IDR帧并进行传输。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各个模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行上述各个模块对应的操作。
图像处理装置1000，可以集成在具备储存器并安装有处理器而具有运算能力的终端10或服务器20中，或者该图像处理装置1000为该终端10或服务器20。
可选的，本申请还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
图15为本申请实施例提供的计算机设备的结构示意图，该计算机设备可以是图2所示的终端10或服务器20。如图15所示，该计算机设备1200可以包括：通信接口2010，存储器2020，处理器2030和通信总线2040。通信接口2010，存储器2020，处理器2030通过通信总线2040实现相互间的通信。通信接口2010用于装置1000与外部设备进行数据通信。存储器2020可用于存储软件程序以及模块，处理器2030通过运行存储在存储器2020的软件程序以及模块，例如前述方法实施例中的相应操作的软件程序。
可选的，该处理器2030可以调用存储在存储器2020的软件程序以及模块执行如下操作：对当前帧图像进行一次编码，以获取编码参数；根据编码参数确定是否对当前帧图像重新编码；若是，则对当前帧图像重新编码，重新编码后的当前帧图像的数据量少于该一次编码后的当前帧图像的数据量。
本申请还提供了一种计算机可读存储介质，用于存储计算机程序。该计算机可读存储介质可应用于计算机设备，并且该计算机程序使得计算机设备执行本申请实施例中的图像处理方法中的相应流程，为了简洁，在此不再赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本申请实施例中的图像处理方法中的相应流程，为了简洁，在此不再赘述。
本申请还提供了一种计算机程序，该计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本申请实施例中的图像处理方法中的相应流程，为了简洁，在此不再赘述。
应理解，本申请实施例的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解，上述存储器为示例性但不是限制性说明，例如，本申请实施例中的存储器还可以是静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)等等。也就是说，本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器20)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：
对当前帧图像进行一次编码，以获取编码参数，所述编码参数指示所述当前帧图像是否存在场景切换；
根据所述编码参数确定是否对所述当前帧图像重新编码；
若是，则对所述当前帧图像重新编码，重新编码后的所述当前帧图像的数据量少于所述一次编码后的所述当前帧图像的数据量。
2.如权利要求1所述的图像处理方法，其特征在于，还包括：
在所述当前帧图像为即时解码刷新IDR帧时，确定所述即时解码刷新IDR帧的所述编码参数作为参考编码参数，并传输所述即时解码刷新IDR帧。
3.如权利要求1所述的图像处理方法，其特征在于，还包括：
将重新编码的所述当前帧图像确定为即时解码刷新IDR帧并进行传输。
4.如权利要求1所述的图像处理方法，其特征在于，所述编码参数包括帧内预测像素的比例，所述根据所述编码参数确定是否对所述当前帧图像重新编码，包括：
在所述帧内预测像素的比例大于预设比例时，确定所述当前帧图像存在场景切换；
在所述当前帧图像存在场景切换时，确定对所述当前帧图像重新编码。
5.如权利要求1所述的图像处理方法，其特征在于，所述编码参数包括帧内预测像素的比例、图像尺寸、当前编码帧率和当前编码码率，所述根据所述编码参数确定是否对所述当前帧图像重新编码，包括：
在所述帧内预测像素的比例大于预设比例时，确定所述当前帧图像存在场景切换；
根据所述当前编码帧率和所述当前编码码率，确定尺寸阈值；
在所述当前帧图像存在场景切换且所述图像尺寸大于所述尺寸阈值时，确定对所述当前帧图像重新编码。
6.如权利要求5所述的图像处理方法，其特征在于，所述根据所述编码参数确定是否对所述当前帧图像重新编码，还包括：
在所述当前帧图像不存在场景切换时，或者，在所述当前帧图像存在场景切换、且所述当前帧图像的图像尺寸小于所述尺寸阈值时，确定不对所述当前帧图像重新编码。
7.如权利要求1所述的图像处理方法，其特征在于，所述编码参数还包括平均量化参数，所述对所述当前帧图像重新编码，包括：
在所述平均量化参数大于参考平均量化参数时，根据第一调整值调整所述平均量化参数，所述参考平均量化参数根据所述当前帧图像之前的即时解码刷新IDR帧的平均量化参数确定；
在所述平均量化参数小于所述参考平均量化参数时，根据第二调整值调整所述平均量化参数，所述第二调整值大于所述第一调整值；
根据调整后的所述平均量化参数对所述当前帧图像重新编码。
8.如权利要求1所述的图像处理方法，其特征在于，所述编码参数还包括图像尺寸和平均量化参数，所述对所述当前帧图像重新编码，包括：
在所述图像尺寸小于参考图像尺寸时，根据第一调整值调整所述平均量化参数，所述参考图像尺寸根据所述当前帧图像之前的即时解码刷新IDR帧的图像尺寸确定；
在所述图像尺寸大于所述参考图像尺寸时，根据第二调整值调整所述平均量化参数，所述第二调整值大于所述第一调整值；
根据调整后的所述平均量化参数对所述当前帧图像重新编码。
9.如权利要求1所述的图像处理方法，其特征在于，所述编码参数还包括平均量化参数和图像尺寸，所述对所述当前帧图像重新编码，包括：
在所述平均量化参数大于参考平均量化参数，且所述图像尺寸小于所述参考图像尺寸时，根据第一调整值调整所述平均量化参数，所述参考平均量化参数根据所述当前帧图像之前的即时解码刷新IDR帧的平均量化参数确定，所述参考图像尺寸根据所述当前帧图像之前的即时解码刷新IDR帧的图像尺寸确定；
在所述平均量化参数小于所述参考平均量化参数时，或者，在所述平均量化参数大于所述参考平均量化参数且所述图像尺寸大于所述参考图像尺寸时，根据第二调整值调整所述平均量化参数，所述第二调整值大于所述第一调整值；
根据调整后的所述平均量化参数对所述当前帧图像重新编码。
10.如权利要求1所述的图像处理方法，其特征在于，还包括：
通过云游戏客户端向所述终端发送获取所述终端的编解码能力信息的请求；
接收所述终端上传的所述编解码能力信息；
根据所述编解码能力信息、所述终端运行的游戏的类型和网络通信信息，确定的目标编解码配置和目标编解码策略；
所述对当前帧图像进行一次编码，以获取编码参数，包括：
根据所述目标编解码配置和目标编解码策略对所述当前帧图像进行一次编码，以获取所述编码参数。
11.一种图像处理装置，其特征在于，所述装置包括：
第一编码模块，用于对当前帧图像进行一次编码，以获取编码参数，所述编码参数指示所述当前帧图像是否存在场景切换；
第一确定模块，用于根据所述编码参数确定是否对所述当前帧图像重新编码；
第二编码模块，用于在确定对所述当前帧图像重新编码时，对所述当前帧图像重新编码，重新编码后的所述当前帧图像的数据量少于所述一次编码后的所述当前帧图像的数据量。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1-10任一项所述的图像处理方法中的步骤。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1-10任一项所述的图像处理方法中的步骤。
CN202210101718.4A 2022-01-27 2022-01-27 图像处理方法、装置及设备 Pending CN116567242A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210101718.4A CN116567242A (zh) 2022-01-27 2022-01-27 图像处理方法、装置及设备
PCT/CN2022/135663 WO2023142665A1 (zh) 2022-01-27 2022-11-30 图像处理方法、装置、计算机设备、存储介质及程序产品
US18/334,785 US20230388526A1 (en) 2022-01-27 2023-06-14 Image processing method and apparatus, computer device, storage medium and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210101718.4A CN116567242A (zh) 2022-01-27 2022-01-27 图像处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116567242A true CN116567242A (zh) 2023-08-08

Family

ID=87470330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210101718.4A Pending CN116567242A (zh) 2022-01-27 2022-01-27 图像处理方法、装置及设备

Country Status (3)

Country Link
US (1) US20230388526A1 (zh)
CN (1) CN116567242A (zh)
WO (1) WO2023142665A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760791B (zh) * 2023-08-21 2023-11-17 腾讯科技（深圳）有限公司 图像传输方法、装置、设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101677398A (zh) * 2008-09-19 2010-03-24 三星电子株式会社 场景切换码率控制方法
CN109561310B (zh) * 2017-09-26 2022-09-16 腾讯科技（深圳）有限公司 视频编码处理方法、装置、设备和存储介质
CN108924611B (zh) * 2018-06-27 2020-11-27 曜科智能科技（上海）有限公司 Abr编码码率控制优化方法、电子设备及存储介质
CN110933430B (zh) * 2019-12-16 2022-03-25 电子科技大学 二次编码优化方法
CN111698505B (zh) * 2020-06-23 2022-03-25 湖南国科微电子股份有限公司 视频帧编码方法、装置、编码设备及可读存储介质

Also Published As

Publication number Publication date
US20230388526A1 (en) 2023-11-30
WO2023142665A1 (zh) 2023-08-03

Similar Documents

Publication Publication Date Title
WO2017219896A1 (zh) 视频流的传输方法及装置
JP2022050585A (ja) クロマ予測方法及びデバイス
JP2017208849A (ja) 小待ち時間レート制御システムおよび方法
US20170103577A1 (en) Method and apparatus for optimizing video streaming for virtual reality
CN112533059B (zh) 图像渲染方法、装置、电子设备以及存储介质
US11438645B2 (en) Media information processing method, related device, and computer storage medium
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
WO2023142716A1 (zh) 编码方法、实时通信方法、装置、设备及存储介质
CN114600468A (zh) 将复合视频流中的视频流与元数据组合
EP4375936A1 (en) Image processing method and apparatus, computer device and storage medium
US20230388526A1 (en) Image processing method and apparatus, computer device, storage medium and program product
US11943473B2 (en) Video decoding method and apparatus, video encoding method and apparatus, storage medium, and electronic device
CN113286146B (zh) 媒体数据处理方法、装置、设备以及存储介质
CN116567346A (zh) 视频处理方法、装置、存储介质及计算机设备
US20170134454A1 (en) System for cloud streaming service, method for still image-based cloud streaming service and apparatus therefor
US20240098316A1 (en) Video encoding method and apparatus, real-time communication method and apparatus, device, and storage medium
CN116980392A (zh) 媒体流处理方法、装置、计算机设备和存储介质
CN106658070B (zh) 视频重定向的方法和装置
JP2024517915A (ja) データ処理方法、装置、コンピュータ機器及びコンピュータプログラム
CN116962613A (zh) 数据传输方法及装置、计算机设备、存储介质
WO2021057478A1 (zh) 视频编解码方法和相关装置
CN116567268A (zh) 图像处理方法、装置及设备
WO2012154157A1 (en) Apparatus and method for dynamically changing encoding scheme based on resource utilization
CN113747181A (zh) 基于远程桌面的网络直播方法、直播系统及电子设备
JP2018514133A (ja) データ処理方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40093139

Country of ref document: HK