CN114669047A - 一种图像处理方法、电子设备及存储介质 - Google Patents

一种图像处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN114669047A
CN114669047A CN202210193791.9A CN202210193791A CN114669047A CN 114669047 A CN114669047 A CN 114669047A CN 202210193791 A CN202210193791 A CN 202210193791A CN 114669047 A CN114669047 A CN 114669047A
Authority
CN
China
Prior art keywords
rendering
frame buffer
texture
program
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210193791.9A
Other languages
English (en)
Other versions
CN114669047B (zh
Inventor
沈平圳
刘金晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210193791.9A priority Critical patent/CN114669047B/zh
Priority to CN202310539537.4A priority patent/CN116672704A/zh
Publication of CN114669047A publication Critical patent/CN114669047A/zh
Priority to EP22902464.1A priority patent/EP4257217A1/en
Priority to PCT/CN2022/140111 priority patent/WO2023160167A1/zh
Application granted granted Critical
Publication of CN114669047B publication Critical patent/CN114669047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/77Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308Details of the user interface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/393Arrangements for updating the contents of the bit-mapped memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/399Control of the bit-mapped memory using two or more bit-mapped memories, the operations of which are switched in time, e.g. ping-pong buffers
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请实施例提供的一种图像处理方法、电子设备及存储介质,涉及计算机技术领域,可以提升图像的画质。其中,方法包括:接收应用程序下发的第一绑定指令,第一绑定指令中的操作类型不是只读类型、且第一绑定指令中的第一帧缓冲标识指示用于在屏渲染的第一帧缓冲。接收应用程序下发的第一渲染指令,第一渲染指令指示绘制第一图像内容。执行第二渲染指令,在第一帧缓冲中绘制第二图像内容,第二渲染指令指示绘制第二图像内容,第二图像内容是基于第一图像内容生成的,第二图像内容的分辨率高于第一图像内容的分辨率。

Description

一种图像处理方法、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法、电子设备及存储介质。
背景技术
随着屏幕技术的发展,手机、平板等电子设备的屏幕分辨率越来越高,从而可以显示更高分辨率的图像,提供更好的视觉体验。与此同时,电子设备在显示图像之前,需要对图像进行渲染处理。其中,针对高分辨率的图像,在渲染过程中则会产生更高的算力和功耗的开销,进一步则可能导致电子设备出现发热或卡顿的现象,从而影响用户体验。
与此同时,在现有技术中,提供有一些可以降低渲染负载的方案。但是,现有技术中降低渲染负载的方案,往往以牺牲图像的清晰度为代价。从而会导致最终展示的图像模糊。
发明内容
本申请实施例提供一种图像处理方法、电子设备及存储介质,在降低渲染负载的同时,可以兼顾图像的画质。
第一方面,本申请实施例提供一种图像处理方法,该方法可以应用于电子设备,该电子设备上运行有应用程序。该方法包括:接收应用程序下发的第一绑定指令,第一绑定指令中的操作类型不是只读类型、且第一绑定指令中的第一帧缓冲标识指示用于在屏渲染的第一帧缓冲。接收到第一绑定指令,则表明即将要进行在屏渲染。接收应用程序下发的第一渲染指令,第一渲染指令指示绘制第一图像内容。执行第二渲染指令,在第一帧缓冲中绘制第二图像内容,第二渲染指令指示绘制第二图像内容,第二图像内容是基于第一图像内容生成的,第二图像内容的分辨率高于第一图像内容的分辨率。
综上所述,采用本申请实施例的方法,电子设备在确定即将要进行在屏渲染后,当接收到渲染指令时,不是直接将渲染指令指示绘制的第一图像内容绘制到在屏渲染的第一帧缓冲中,而是将第二图像内容绘制到第一帧缓冲中。其中,第二图像内容是对第一图像内容提升分辨率后的内容。如此,可以在将第一图像内容提升分辨率后再绘制到第一帧缓冲中,从而可以提升显示的图像画质。
在第一方面的一种可能的设计方式中,第一图像内容在第二帧缓冲中渲染得到,第二帧缓冲用于离屏渲染,第二帧缓冲绑定有第一纹理,第一纹理的大小满足预设条件。其中,纹理的大小可以表示存储在该纹理中的图像内容的分辨率。
也就是说,采用本实施例的方法,电子设备针对在第二帧缓冲中渲染得到的第一图像内容,可以先提升分辨率,然后绘制到第一帧缓冲中。其中,第二帧缓冲绑定的绑定的纹理附件的大小满足预设条件。如此,可以将分辨率满足一定条件的图像内容,在提升分辨率后绘制到第一帧缓冲中。从而实现有针对性的提升分辨率。
在第一方面的另一种可能的设计方式中,第一纹理的大小包括第一纹理的宽度和第一纹理的高度。第一纹理的大小满足预设条件,包括:第一纹理的宽度大于第一预设值和第一纹理的高度大于第一预设值。和/或,第一纹理的大小满足预设条件,包括:第一纹理的宽度和第一纹理的高度的比值,与电子设备的显示屏的宽度和显示屏的高度的比值之差在预设范围内。
也就是说,采用本实施例的方法,电子设备可以将大小较大的,和/或,宽高比接近屏幕宽高比的纹理中存储的图像内容,先提升分辨率,然后绘制到第一帧缓冲。应理解,存储在大小较大的,和/或,宽高比接近屏幕宽高比的纹理中的图像内容,通常是较为复杂的内容(如游戏主场景)。这些较复杂的内容通常决定了图像的画质,通过对其提升分辨率然后绘制到第一帧缓冲中,则可以极大的改善整体画质。
在第一方面的另一种可能的设计方式中,第一图像内容存储在第一纹理中,第二图像内容存储在第二纹理中,第一渲染指令中包括第一纹理标识,第一纹理标识指示第一纹理。在第一渲染指令中携带第一纹理标识,则可以指示待绘制的图像内容是第一纹理中存储的图像内容,即第一图像内容。在执行第二渲染指令之前,方法还包括:将第一渲染指令中的第一纹理标识修改为第二纹理标识,得到第二渲染指令,第二纹理标识指示第二纹理。
也就是说,采用本实施例的方法,电子设备可以通过修改第一渲染指令中携带的纹理的标识,以改变待绘制的图像内容。在将第一纹理标识修改为第二纹理标识后,则指示待绘制的图像内容是第二纹理中存储的图像内容,如第二图像内容。如此,可以准确指示将提升分辨率后的第二图像内容绘制到第一帧缓冲中。
在第一方面的另一种可能的设计方式中,电子设备还可以在将第二图像内容绘制到第一帧缓冲的过程中,进一步对第一图像内容进行锐化处理和/或降噪处理,以进一步提升图像画质。具体的,第一渲染指令中还包括第一程序标识,第一程序标识指示第一可执行程序program,第一program用于根据第一program绑定的第一着色器绘制图像,第一着色器中未集成第一模型,第一模型用于图像的锐化处理和/或降噪处理。也就是说,第一program不能用于对图像进行锐化处理和/或降噪处理。相应的,在上述将第一渲染指令中的第一纹理标识修改为第二纹理标识的基础上,还可以将第一渲染指令中的第一程序标识修改为第二程序标识,得到第二渲染指令。第二程序标识指示第二program,第二program根据第二program中绑定的第二着色器绘制图像,第二着色器中集成有第一模型。也就是说,第二program可以用于对图像进行锐化处理和/或降噪处理。执行第二渲染指令,在第一帧缓冲中绘制第二图像内容,包括:执行第二渲染指令,在第一帧缓冲中绘制经锐化处理后的第二图像内容,和/或,在第一帧缓冲中绘制经降噪处理后的第二图像内容。
也就是说,采用本实施例的方法,电子设备可以在通过提升分辨率来提升画质的基础上,进一步通过锐化处理和/或降噪处理来提升画质。进一步提升渲染的效果。
在第一方面的另一种可能的设计方式中,在接收应用程序下发的第一绑定指令之前,方法还包括:接收应用程序下发的第一创建命令,第一创建命令用于创建第三帧缓冲,第一创建命令中包括第三帧缓冲绑定的第三纹理的大小,第三纹理的大小满足预设条件。存储第三纹理的大小。第一纹理的大小满足预设条件,包括:第一纹理的大小等于第三纹理的大小。
也就是说,采用本实施例的方法,可以在在屏渲染之前,记录下满足预设条件的纹理的大小,即第三纹理的大小。然后,仅需确定第一纹理的大小等于第三纹理的大小,即可高效确定第一纹理的大小是否满足预设条件。
在第一方面的另一种可能的设计方式中,在接收应用程序下发的第一绑定指令之前,方法还包括:接收应用程序下发的第二绑定指令,第二绑定指令中的操作类型不是只读类型、且第二绑定指令中的第二帧缓冲标识未指示第一帧缓冲。存储第二帧缓冲标识。
然后,接收应用程序下发的第三绑定指令,第三绑定指令中的操作类型不是只读类型、且第三绑定指令中的第三帧缓冲标识未指示第一帧缓冲。将存储的第二帧缓冲标识替换为第三帧缓冲标识。
也就是说,采用本实施例的方法,可以在每次接收到指示在非第一帧缓冲(即为离屏帧缓冲)中执行绘制操作的绑定指令后,则存储指示绑定的帧缓冲的帧缓冲标识。如此,可以始终记录最近的绘制操作针对的帧缓冲,以便后续针对在该帧缓冲中渲染得到的内容先提升分辨率,然后绘制到第一帧缓冲中。
进一步的,在接收应用程序下发的第二绑定指令之后,方法还包括:接收应用程序下发的第三渲染指令,第三渲染指令中指示执行的渲染操作包括绘制操作。在存储第二帧缓冲标识,包括:响应于接收到第三渲染指令,存储第二帧缓冲标识。
也就是说,采用本实施例的方法,电子设备进一步根据渲染指令确定需要执行的渲染操作包括绘制操作的情况下,才存储帧缓冲标识。如此,可以使得存储的帧缓冲标识准确指示最近的执行绘制操作的帧缓冲。
在第一方面的另一种可能的设计方式中,由于分辨率较高的内容通常绘制在第一帧缓冲的离屏帧缓冲中,因此,在接收应用程序下发的第一绑定指令之后,方法还包括:判断待处理帧缓冲绑定的待处理纹理的大小是否满足预设条件,待处理帧缓冲是存储的帧缓冲标识指示的帧缓冲。如此,针对记录的帧缓冲标识指示的帧缓冲进行预设条件的判断,则有极大的可能确定出第二帧缓冲。如果满足条件,则第二帧缓冲是待处理帧缓冲,第一图像内容是在待处理帧缓冲中渲染得到的,第一纹理是待处理纹理。相应的,执行第二渲染指令,包括:若待处理纹理的大小满足预设条件,执行第二渲染指令。从而实现将待处理帧缓冲中渲染得到的图像内容,在提升分辨率后绘制到第一帧缓冲中。
在第一方面的另一种可能的设计方式中,在执行第二渲染指令之前,还包括:处理第一图像内容,生成第二图像内容。
也就是说,采用本实施例的方法,电子设备可以在执行第二渲染指令之前,提升第一图像内容的分辨率,为后续执行第二渲染指令做准备。
在第一方面的另一种可能的设计方式中,处理第一图像内容,包括:调用第三program处理第一图像内容,第三program用于根据第三program中绑定的第三着色器绘制图像,第三着色器中集成有第二模型的算法源码,第二模型用于提升图像的分辨率。
也就是说,采用本实施例的方法,电子设备可以将用于提升图像分辨率的模型集成在着色器中,然后绑定在program中。从而便于实现渲染。
在第一方面的另一种可能的设计方式中,采用第一标记来指示已完成模型(例如第一模型、第二模型)初始化。第一帧缓冲的绑定指令(即第一绑定指令)中,通常会包括绘制大小,该绘制大小可以限制在第一帧缓冲中完成渲染的图像内容的大小。在接收应用程序下发的第一绑定指令之后,方法还包括:获取第一标记,第一标记指示已完成模型初始化,模型包括第二模型。若未获取到第一标记,则存储绘制大小,若获取到第一标记,则不存储绘制大小。
也就是说,采用本实施例的方法,电子设备可以在模型未初始化的情况下,存储第一绑定指令中携带的绘制大小,以用于后续模型初始化。
在第一方面的另一种可能的设计方式中,在调用第三program处理第一图像内容之前,方法还包括:根据第三纹理的大小和绘制大小初始化第三program中的第二模型。经过初始化后的第二模型,可以实现将第三纹理的大小的图像内容,提升分辨率为绘制大小后输出。在初始化第三program中的第二模型后,调用第三program处理第一图像内容。
在第一方面的另一种可能的设计方式中,在初始化第三program中的第二模型后,方法还包括:存储第一标记。即,记录已完成模型初始化。
在第一方面的另一种可能的设计方式中,由于在接收应用程序下发的第一绑定指令和接收应用程序下发的第一渲染指令之间,需要做提升分辨率等处理,为了避免这中间绑定的帧缓冲发生改变,在接收应用程序下发的第一绑定指令之后,可以存储第二标记,第二标记指示当前绑定的是第一帧缓冲。在接收应用程序下发的第一渲染指令之后,方法还包括:获取第二标记。相应的,执行第二渲染指令,包括:若获取到第二标记,则执行第二渲染指令。
也就是说,采用本实施例的方法,在接收到应用程序下发的第一渲染指令后,只有当绑定的帧缓冲依然是第一帧缓冲时,才执行第二渲染指令。如此,可以避免渲染出错。
在第一方面的另一种可能的设计方式中,在存储第二标记之后,方法还包括:在接收到应用程序下发的第四绑定指令后,删除第二标记,第四绑定指令中的第四帧缓冲标识未指示第一帧缓冲。如此,可以在绑定的帧缓冲不是第一帧缓冲后,及时删除第二标记。
在第一方面的另一种可能的设计方式中,第二模型有多个,多个第二模型一一对应集成在多个第三着色器中,多个着色器一一绑定在多个第三program中;在调用第三program处理第一图像内容之前,方法还包括:根据用户设置的增强等级和/或增强方式选择目标模型,目标模型是多个第二模型中的一个。相应的,调用第三program处理第一图像内容,包括:调用目标模型所在的第三program处理第一图像内容。
也就是说,采用本实施例的方法,电子设备可以根据用户设置来动态选择目标模型,以用于当前帧的处理。从而可以提升处理的灵活性。
第三方面,本申请实施例提供一种电子设备,其特征在于,所述电子设备上运行有应用程序,所述电子设备包括:存储器和一个或多个处理器,所述存储器与所述处理器耦合;其中,所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第三方面,本申请实施例提供一种芯片系统,该芯片系统应用于包括显示屏和存储器的电子设备;所述芯片系统包括一个或多个接口电路和一个或多个处理器;所述接口电路和所述处理器通过线路互联;所述接口电路用于从所述电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括所述存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,所述电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第四方面,本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第五方面,本申请提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如第一方面及其任一种可能的设计方式所述的方法。
可以理解地,上述提供的第二方面所述的电子设备,第三方面所述的芯片系统,第四方面所述的计算机存储介质,第五方面所述的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例一种图像显示的原理示意图;
图2为本申请实施例另一种图像显示的原理示意图;
图3A为本申请实施例一种图像处理方法的流程示意图;
图3B为本申请实施例一种图像处理的原理示意图;
图3C为本申请实施例另一种图像处理方法的流程示意图;
图4A为本申请实施例另一种图像处理方法的流程示意图;
图4B为本申请实施例另一种图像处理的原理示意图;
图5为本申请实施例一种画质增强设置的界面示意图;
图6为本申请实施例另一种图像处理方法的流程示意图;
图7为本申请实施例提供的一种电子设备的软件结构框图;
图8为本申请实施例提供的一种图像处理方法的原理示意图;
图9A-图9B为本申请实施例提供的另一种图像处理方法的流程图;
图10为本申请实施例提供的另一种图像处理方法的原理示意图;
图11为本申请实施例提供的一种芯片系统的组成示意图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在用户使用电子设备中的游戏、建模、家居设计等需要显示大量且复杂的图像的应用中,电子设备需要完成大量的渲染处理,然后显示图像。
常规技术中,当应用程序(如游戏应用)需要显示图像时,可以向电子设备的中央处理器(Central Processing Unit,CPU)发出针对该图像的渲染命令。CPU可以根据这些渲染命令,控制电子设备的图形处理器(Graphics Processing Unit,GPU)对该图像进行渲染,渲染后的数据可存储至电子设备的默认帧缓冲(provided framebuffer)中。默认帧缓冲可以是电子设备在内存中为当前需要显示的图像配置的存储空间,可在图像渲染前创建,默认帧缓冲中包含的内容可以全部在屏幕上呈现。也就是说,在电子设备需要显示某一图像时,可以根据默认帧缓冲中存储的该图像对应的数据,控制显示屏显示该图像。
在一些渲染场景中,一帧图像中包括较多(或复杂)的图形元素,或者包括较多(或复杂)的图像效果(如阴影),导致往往需要多个步骤才能完成渲染。那么,若全在默认帧缓冲中完成渲染,则可能因为在默认帧缓冲中依次完成多个渲染步骤而导致图像无法一次性完全显示。因此,在上述渲染场景中,则需要创建多个离屏帧缓冲来实现渲染。电子设备创建多个离屏帧缓冲后,可以将多个渲染步骤分解在多个离屏帧缓冲中完成,再将多个离屏帧缓冲中的渲染结果绘制到(贴到)默认帧缓冲中。该多个离屏帧缓冲与默认帧缓冲作用类似,用于图像渲染。只是该多个离屏帧缓冲中的内容不会直接在屏幕上呈现,实现离屏渲染(Off-Screen Rendering),而默认帧缓冲中的内容会直接在屏幕上呈现,实现在屏渲染(On-Screen Rendering)。在屏渲染,又称为当前屏幕渲染,指的是渲染操作是在当前用于显示的屏幕缓冲区(即默认帧缓冲)中进行。离屏渲染,指的是渲染操作是在当前用于显示的屏幕缓冲区(即默认帧缓冲)以外开辟的缓冲区(即离屏帧缓冲)中进行。
参见图1,以电子设备是手机为例,图像A包含较复杂的图形元素和效果,渲染图像A之前,可以创建两个离屏帧缓冲(FB1,FB2)。在执行对图像A的渲染时,可以在FB1中完成一些渲染步骤,实现对图像A的一部分几何图形和/或效果的渲染,在FB2中完成另一些渲染步骤,实现对图像A中的另一部分几何图形和/或效果的渲染。然后将FB1和FB2中的渲染结果绘制到默认帧缓冲(FB0)中。其中,FB1和FB2上的渲染结果不会直接在屏幕上呈现,实现离屏渲染。最后,FB0上的内容会直接在屏幕上呈现,实现在屏渲染。
针对一些高负载的渲染场景,例如,高分辨率游戏的渲染场景,为了降低渲染负载,会采用较低的分辨率在离屏帧缓冲中实现离屏渲染。与此同时,由于用户界面(UserInterface,UI)元素,如游戏界面的操作控件(手柄),其线条较细。若将UI在较低分辨率的离屏帧缓冲中实现离屏渲染,然后绘制到默认帧缓冲中,则会导致最终在屏幕上显示的UI的效果较差。例如,线条不清晰。因此,为了提升渲染效果,通常会在默认帧缓冲中绘制UI。这样,在将离屏帧缓冲的渲染结果绘制到默认帧缓冲后,则可以由离屏帧缓冲中绘制到默认帧缓冲的渲染结果和在默认帧缓冲中绘制的UI构成完整的界面图像。如此,虽然可以在提升渲染效果的同时,降低渲染负载,但是由于在离屏渲染时采用了较低的分辨率,则会导致电子设备显示的图像的画质相对模糊。
结合图1,并以高分辨率游戏的渲染场景为例。先需要说明的是,在游戏渲染过程中,渲染游戏主场景的功耗是最高的。其中,游戏主场景是游戏图像的主体,其通常包括人物、建筑、山体等内容,以及针对这些内容而添加的效果(如针对建筑物添加的光照效果)而构成。因此,在FB1、FB2中以较低的分辨率完成游戏主场景以及图像的整体效果(如阴影效果、泛光(bloom)效果、暗黑效果)等内容的渲染,可以极大的降低渲染负载。但是,由于游戏主场景是游戏图像主体,其决定了游戏画质,在离屏帧缓冲中采用较低的分辨率来渲染游戏主场景,将影响最终显示的游戏画质。
基于上述问题,参见图2,本申请提供一种图像处理方法,该方法可应用于手机、平板等有图像渲染需求的电子设备。具体地,在将离屏帧缓冲中的渲染结果绘制到默认帧缓冲之前,确认离屏帧缓冲中绘制有预设内容的目标帧缓冲(如FB2)。其中,预设内容是指图像中渲染所需功耗高、且决定图像画质的内容,如游戏主场景。将该目标帧缓冲中的渲染结果进行画质增强处理,如提高分辨率。这样,预设内容也得到了增强。然后,在将离屏帧缓冲中的渲染结果绘制到默认帧缓冲中时,对于目标帧缓冲,则是将增强后的结果绘制到默认帧缓冲中。最后,由离屏帧缓冲中绘制到默认帧缓冲的渲染结果和在默认帧缓冲中绘制的UI构成完整的界面图像。
采用本申请实施例的方法,电子设备在离屏帧缓冲中采用较低的分辨率来完成预设内容的渲染,从而可以降低渲染负载。与此同时,电子设备将在离屏帧缓冲中渲染得到的预设内容进行画质增强处理后,再绘制到默认帧缓冲中。那么,最终电子设备的显示屏中显示的是画质提升后的预设内容。如此,电子设备可以在降低渲染负载的同时,保证画质的清晰度。
本申请实施例提供的图像处理方法,可以应用于电子设备中,电子设备可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备等电子设备。本申请实施例对该设备的具体形态不作特殊限制。
为了便于说明,下文实施例中,将以电子设备中的游戏应用为例来说明本申请方案。应理解,当应用程序是其他需要显示大量且复杂的图像的应用,如建模应用时,其实现原理也与之类似。本文中将不再一一列举。
示例性的,在游戏应用中,预设内容是游戏主场景。并且,游戏应用可使用OpenGL图形库完成渲染相关的处理。在其他的不同于OpenGL的渲染引擎/渲染环境下,如Vulkan图形库中,实施机制类似,仅对应的函数可能存在差异。
在游戏开始运行(加载)时,游戏应用进入资源分配阶段,游戏应用会向CPU下发创建帧缓冲资源命令,CPU控制GPU创建图像对应的帧缓冲(FB),为后续的图像渲染做准备。在此需要说明的是,默认帧缓冲和离屏帧缓冲可以统称为FB,下文中凡是直接出现FB,而未区分离屏帧缓冲和默认帧缓冲的地方,则可以理解为包括默认帧缓冲和离屏帧缓冲。
在资源分配阶段结束后,游戏应用需要渲染某个图像时,可以向CPU下发渲染命令。在该渲染命令中,可以指示渲染图像所需要调用的FB,以及在FB中需要执行的渲染操作。
本申请实施例,CPU拦截游戏应用下发的渲染命令,并确定所需调用的FB。当CPU确定出需要调用默认帧缓冲(如FB0)时,则表明即将开始在默认帧缓冲(如FB0)中完成相应的渲染步骤,如将离屏帧缓冲中的渲染结果绘制到默认帧缓冲(如FB0)中,在默认帧缓冲(如FB0)中绘制UI等。此时,CPU可以在离屏帧缓冲中确定出绘制预设内容的目标帧缓冲。然后,CPU向GPU发送对目标帧缓冲中的渲染结果进行画质增强处理的命令。GPU根据该画质增强处理的命令,对目标帧缓冲中的渲染结果进行画质增强处理,提升游戏主场景的画质。CPU根据GPU进行画质增强处理后得到的结果,修改渲染命令,并发送给GPU。GPU执行修改后的渲染命令,则可以将增强后的游戏主场景绘制到默认帧缓冲(如FB0)上。
需要说明的是,在本申请实施例中,也可以由神经网络计算处理器(neural-network processing units,NPU)来替代上述GPU完成相应的处理。其处理原理和具体实现与GPU类似,本文中不再赘述。
需要在此说明的是,在游戏渲染中,在后的渲染步骤可能需要叠加在前的渲染步骤的渲染结果。并且,在绘制UI前,应该已经在离屏帧缓冲中完成了图像中除UI之外所有内容的渲染。因此,在每一帧图像的渲染过程中,游戏主场景通常应该被绘制在UI绘制前、最后的绘制操作(游戏主场景必须经过绘制操作才能完成渲染)针对的离屏帧缓冲中。但是,在离屏帧缓冲中完成游戏主场景的绘制后,可能还会叠加bloom、阴影等整体效果,这些整体效果也需要通过绘制操作来完成,并且会绘制在绘制游戏主场景之后的离屏帧缓冲中。即,在上述特殊情况下,在UI绘制前、最后的绘制操作针对的离屏帧缓冲中绘制的可能是bloom、阴影等整体效果。基于此,在确定离屏帧缓冲中绘制有预设内容的目标帧缓冲(如FB2)时,仅需确定在UI绘制前、最后的渲染操作针对的离屏帧缓冲,是不是绘制有预设内容的目标帧缓冲(如FB2),基本就可以准确的确定出目标帧缓冲。
应理解,实际实施时,并不以上述确定目标帧缓冲的方式为限。示例性的,也可以当在每个离屏帧缓冲中渲染时,确定该离屏帧缓冲是否为目标帧缓冲。
下文实施例中,将主要以确定UI绘制前、最后的绘制操作针对的离屏帧缓冲是否为目标帧缓冲(即绘制有游戏主场景的FB)的方式为例,并结合附图对本申请实施例提供的方案进行详细说明。
示例性的,参考图3A,为本申请实施例提供的一种图像处理方法的流程示意图。该方法应用于电子设备,该电子设备可以包括应用程序、CPU、GPU和内部存储器(下面简称内存)。在图3A中,以游戏主场景在FB2完成渲染,FB0为默认帧缓冲为例,来说明本申请方案。即,FB0用于在屏渲染,FB1、FB2用于离屏渲染。并且,为了方便说明,可以将FB0称为第一帧缓冲,将绘制有游戏主场景的目标帧缓冲(如FB1或者FB2)称为第二帧缓冲。
游戏应用在资源分配阶段中,会向CPU下发创建帧缓冲资源命令。创建帧缓冲资源命令用于创建图像对应的FB,为后续的图像渲染做准备。
在创建帧缓冲资源命令中,可调用glGenFrameBuffer函数来指示创建FB,并为创建的FB赋予帧缓冲标识,如ID值。并且,每个FB需要绑定纹理作为渲染指令的写入载体。例如,在纹理中写入颜色、深度和模板等信息。可调用glGenTextures函数来指示创建纹理,并为创建的纹理赋予纹理标识,如纹理ID。可调用glTexImage2D函数为创建好的纹理配置宽度和高度,该宽度*高度则为纹理的大小。可调用glFramebufferTexture2D函数用于将创建好的纹理绑定到FB上。纹理绑定在FB后,该纹理可被称为纹理附件。在本实施例中,CPU会拦截游戏应用下发的创建帧缓冲资源命令。
301、CPU响应于接收到游戏应用下发的创建FB2资源命令,确定创建FB2资源命令中指示绑定的纹理附件1的大小。
其中,创建FB2资源命令可以称为第一创建命令,将第一创建命令指示创建的FB称为第三FB,将第三FB绑定的纹理称为第三纹理。
在本实施例中,响应于拦截到创建帧缓冲资源命令,CPU可以通过识别创建帧缓冲资源命令中glTexImage2D函数携带的宽度值和高度值,确定当前创建的帧缓冲绑定的纹理附件的大小为宽度*高度。该纹理附件的大小也可以理解为当前创建的帧缓冲的分辨率。
以如下创建FB2资源命令为例:
unsigned int FB2;//定义一个帧缓冲对象,变量名定义为FB2;
glGenFramebuffers(1,&FB2);//创建帧缓冲FB2;
glBindFramebuffer(GL_FRAMEBUFFER,FB2);//绑定FB2,其中GL_FRAMEBUFFER用于指示FB2类型为可读可写类型;
unsigned int textureColor;//定义一个纹理,变量名定义为textureColor;
glGenTextures(1,&textureColor1);//创建纹理textureColor1;
glBindTexture(GL_TEXTURE_2D,textureColor1);//绑定纹理textureColor1,其中GL_TEXTURE_2D用于指示纹理类型为2D纹理;
glTexImage2D(GL_TEXTURE_2D,0,GL_RGB,1280,626,0,GL_RGB,GL_UNSIGNED_BYTE,NULL);//给纹理textureColor1分配一个1280*626大小的内存空间,即textureColor1的大小为1280*626;其中函数中的第2个参数(即0)可以用于指示纹理级别,函数中的第3个因子(即GL_RGB)可以用于指示目标纹理格式,函数中的第7个因子(即GL_RGB)可以用于指示入参的纹理格式,函数中的第8个因子(即GL_UNSIGNED_BYTE)可以用于指示入参纹理数据类型;
glFramebufferTexture2D(GL_FRAMEBUFFER,GL_COLOR_ATTACHMENT0,GL_TEXTURE_2D,textureColor1,0);//将纹理textureColor1绑定到帧缓冲FB2上。
上述创建FB2资源命令的示例中,FB2绑定的纹理附件1为textureColor1。glTexImage2D函数中包括宽度(width),如1280,和高度(height),如626。纹理附件1的大小即为宽度*高度指示的大小,如1280*626。
为了方便说明,可以将目标帧缓冲绑定的纹理称为第一纹理,第一纹理的大小同样包括第一纹理的宽度和第一纹理的高度。并且,在目标帧缓冲中渲染得到的渲染结果是存储在第一纹理中的。
302、CPU确定纹理附件1的大小满足预设条件。
其中,预设条件为确定绘制游戏主场景所使用的FB的分辨率的条件。若纹理附件的大小满足预设条件,则表明该纹理附件的大小是绘制游戏主场景所使用的FB的分辨率。若纹理附件的大小不满足预设条件,则表明该纹理附件的大小不是绘制游戏主场景所使用的FB的分辨率。
纹理附件的大小越大,即FB的分辨率越大,则可以在FB中绘制分辨率更高的内容。通常情况下,游戏主场景的画质决定了游戏的画质,因此,渲染游戏主场景所使用的FB的分辨率应该是离屏渲染过程中的最大分辨率。基于此,可以设置预设条件包括:纹理附件的大小中的宽度值超过第一预设值,高度值超过第二预设值。
在一些实施例中,针对每种游戏,都可以通过抓帧手段获取到该游戏在不同机型上运行时游戏主场景的分辨率。然后,根据获取到的游戏主场景的分辨率来设置第一预设值和第二预设值。如此,可以使设置的预设条件,适用于各种机型。
示例性的,游戏a在机型1中,游戏主场景的分辨率为1280*840,游戏a在机型2中,游戏主场景的分辨率为1320*960。那么,可以设置第一预设值为1250(小于不同机型里游戏主场景的分辨率的宽度值),第二预设值为800(小于不同机型里游戏主场景的分辨率的高度值)。
进一步的,若第一预设值和第二预设值设置的过低,则会导致判定结果不准确。例如,将绘制bloom效果,而非游戏主场景的FB确定为绘制游戏主场景所使用的FB。因此,为了提高判定结果的准确性,可以根据游戏在不同机型上运行时、不同画质等级对应的游戏主场景的分辨率来设置第一预设值和第二预设值。
示例性的,游戏a在机型1中运行时,默认画质(可记为第一级画质)下游戏主场景的分辨率为1280*840,默认画质的低一级画质(可记为第二级画质)下游戏主场景的分辨率为1080*820。游戏a在机型2中运行时,第一级画质下游戏主场景的分辨率为1320*960,第二级画质下游戏主场景的分辨率为1080*640。那么可以设置第一预设值为1250(小于不同机型里第一级画质下游戏主场景的分辨率的宽度值,且高于不同机型里第二级画质下游戏主场景的分辨率的宽度值),第二预设值为850(小于不同机型里第一级画质下游戏主场景的分辨率的高度值,且高于不同机型里第二级画质下游戏主场景的分辨率的高度值)。
并且,游戏主场景是游戏图像的主体,其应该与游戏图像的尺寸接近。因此,渲染游戏主场景所使用的FB的分辨率宽高比应该与电子设备的屏幕宽高比近似相等。基于此,可以设置预设条件包括:纹理附件的大小中宽度值和高度值的比值与屏幕宽高比(即宽度值和高度值的比值)的差值在预设范围内。
以预设条件中的第一预设值为1200,第二预设值为600,预设范围为-0.1至0.1,屏幕宽高比为16:9为例,假设创建FB1资源命令中glTexImage2D函数携带的纹理附件的大小为1000*500,则不满足上述预设条件。假设创建FB2资源命令中glTexImage2D函数携带的纹理附件的宽度为1280,高度为626,则满足上述预设条件。
本实施例以游戏主场景绘制在FB2中为例来说明,那么自然可以确定出FB2绑定的纹理附件1的大小满足预设条件。
在确定满足预设条件后,则可以存储游戏主场景的分辨率(如303)。在确定不满足预设条件后,则无可以跳过存储游戏主场景的分辨率。
303、CPU纹理附件1的大小,示例性的存储为分辨率1。
若纹理附件的大小满足预设条件,则当前创建的FB对应的纹理附件的大小即为游戏主场景的分辨率。将该纹理附件的大小存储到内存中,则相当于存储了游戏主场景的分辨率。本实施例中,FB2绑定的纹理附件1的大小满足预设条件,那么将纹理附件1的大小存储到内存中之后,则相当于记录了游戏主场景的分辨率为纹理附件1的大小。也就是说,分辨率1即为游戏主场景的分辨率。后续渲染过程中,可使用该分辨率1来识别游戏主场景的渲染。
应注意,凡是可以用于绘制游戏主场景的FB,其绑定的纹理附件的大小都应该是存储到内存中的分辨率1。因此,通过记录分辨率1,可以用于后续准确识别游戏主场景的渲染。
304、CPU向GPU发送创建FB2资源命令。
CPU在接收到创建帧缓冲资源命令后,会将创建帧缓冲资源命令发送给GPU。GPU根据创建帧缓冲资源命令,可以创建相应的FB,并为该创建的FB分配标识(如FB的ID)。以及,可以创建该FB绑定的纹理附件,并为该纹理附件分配大小和标识(如纹理的ID)。在完成FB及其绑定的纹理附件的创建后,GPU还会存储创建的FB的标识、纹理附件的标识以及纹理附件的大小的对应关系,用于后续根据FB的标识(如绘制ID)查询对应的纹理附件的大小和标识。
上述304的执行时机并不以图3A所示为限,实际实施时,也可以在301-303之间执行304,或者可在301之前执行304。
应当理解的是,游戏应用在资源分配阶段中,会根据渲染需求,向CPU下发多个创建帧缓冲资源命令。例如,依次下发创建FB1资源命令,创建FB2资源命令,创建FB3资源命令……。上述301-304中,仅以创建FB2资源命令为例来说明了FB2存储游戏主场景的分辨率的具体实现。实际实施时,在资源分配阶段中,从游戏应用下发第一个创建帧缓冲资源命令开始,CPU就会执行类似上述301及其后续步骤(仅需替换其中的FB2),直至确定出满足预设条件后,游戏应用后续下发的每个创建帧缓冲资源命令,则不再执行上述301-303的步骤(仅需替换其中的FB2),但需要将创建帧缓冲资源命令发送给GPU,以创建相应的FB并存储对应关系。
在资源分配阶段结束后,游戏应用需要显示第N帧(如第1帧)图像时,会向CPU下发渲染命令,以在相应的FB中完成渲染。示例性的,针对第N帧图像的渲染,游戏应用先后依次向CPU下发如下多个渲染命令:下发针对FB1的渲染命令,以在FB1上完成对第N帧图像的一部分内容的渲染;下发针对FB2的渲染命令,以在FB2上完成对第N帧图像的另一部分内容(本实施例中为游戏主场景)的渲染;以及,下发针对FB0的渲染命令,以及在FB0上完成UI绘制。
进一步的,在针对每个FB的渲染命令中,包括如下两部分指令:FB的绑定指令和渲染指令。其中,游戏应用先下发FB的绑定指令,以绑定相应的FB。然后下发渲染指令,以在当前绑定的FB上完成渲染操作。
游戏应用可调用glBindFrameBuffer函数来下发FB的绑定指令。glBindFrameBuffer函数携带有类型(target)和ID两个参数。类型用于指示渲染操作的操作类型,操作类型可以为只读类型(GL_READ_FRAMEBUFFER),只写类型(GL_DRAW_FRAMEBUFFER),可读可写类型(GL_FRAMEBUFFER)。其中,只写类型和可读可写类型都是可写的。在渲染过程中,写即为绘制,因此,只写类型(GL_DRAW_FRAMEBUFFER)和可读可写类型(GL_FRAMEBUFFER)都可以称为绘制类型。ID用于指示需要绑定的FB的ID。
一方面,由于需要对UI绘制前,在离屏帧缓冲中渲染得到的游戏主场景进行画质增强,在一帧图像的渲染开始之后,可以通过记录绘制ID(最后的绘制操作针对的离屏帧缓冲的ID),以方便确定UI绘制前、最后的绘制操作针对的离屏帧缓冲是否为目标帧缓冲(即绘制有游戏主场景的FB,本实施例中为FB2)。具体记录绘制ID的实现如下文305-310所示:
305、CPU响应于接收到游戏应用下发的FB2的绑定指令,确定操作类型为绘制类型,确定指示绑定的FB不是FB0。
其中,FB2的绑定指令也可以称为第二绑定指令,将第二绑定指令中携带的帧缓冲标识记为第二帧缓冲标识。
由于游戏主场景的渲染也需要绘制操作来完成,则渲染游戏主场景时,在FB的绑定指令中指示的操作类型应该是绘制类型。基于此,在游戏应用下发任一FB的绑定指令后,CPU拦截绑定指令,根据该绑定指令确定操作类型是否为绘制类型。若操作类型是GL_DRAW_FRAMEBUFFER或者GL_FRAMEBUFFER,则是绘制类型。本实施例中,游戏主场景绘制在FB2上,那么FB2的绑定指令中携带的操作类型自然是绘制类型。反之,若操作类型是GL_READ_FRAMEBUFFER,则不是绘制类型。
以FB2的绑定指令中glBindFramebuffer函数是glBindFramebuffer(GL_FRAMEBUFFER,FB2)为例,其中操作类型为GL_FRAMEBUFFER,即可读可写类型,属于绘制类型。那么可以确定操作类型是绘制类型。
需要说明的是,当指示绑定的FB是FB0时,则表明即将开始UI绘制,此时则需要执行一些与画质增强处理强相关的步骤,如记录UI的分辨率用于初始化画质增强模型,确定是否存在进行画质增强处理的需求等。而当指示绑定的FB是FB1,FB2……等离屏帧缓冲时,则无需执行这些步骤。可见,指示绑定的FB是FB0和指示绑定的FB不是FB0时,需要执行的操作是不同的。基于此,在拦截到绑定指令后,还需要确定指示绑定的FB是否为FB0。当前拦截到的是FB2的绑定指令,即指示绑定的是FB0,而不是FB0。
在确定操作类型为绘制类型,且确定指示绑定的FB不是FB0后,则执行下述306-309。若确定操作类型不是绘制类型,在无需执行306-309。若确定操作类型是绘制类型,但确定指示绑定的FB不是FB0,则可以执行一些与画质增强处理强相关的步骤(可参见下述311-317)
306、CPU将FB2的ID存储到内存中。
若绑定FB2的glBindFrameBuffer函数中,目标类型的值是GL_DRAW_FRAMEBUFFER或者GL_FRAMEBUFFER,即为绘制类型,CPU可以将当前指示绑定的FB的ID,即glBindFrameBuffer函数中的ID存到内存中。此时存储的ID为当前帧图像的渲染过程中,最新指示执行绘制类型的渲染操作的FB。
以glBindFrameBuffer函数中的ID是2为例,即指示绑定的是ID为2的FB(如FB2),则将2存储到内存中。
307、CPU向GPU发送FB2的绑定指令。
CPU在接收到绑定指令后,会将绑定指令发送给GPU。GPU根据绑定指令则可以完成FB的绑定。后续在接收到渲染指令后,则可以在绑定的FB上执行渲染操作。
以CPU当前拦截到的是FB2的绑定指令为例,则将该FB2的绑定指令发送给GPU。GPU根据FB2的绑定指令可以绑定FB2,后续在接收到渲染指令后,则可以在FB2上执行渲染操作。
上述307的执行时机并不以图3A所示为限,实际实施时,也可以在305和306之间执行307,或者可在305之前执行307。
前述305中只是根据绑定指令确定了操作类型为绘制类型,但是实际上只有游戏应用向CPU下发渲染指令时,才能准确确定是否真的要在当前绑定的FB中执行绘制操作。
游戏应用在下发FB的绑定指令后,进一步会下发渲染指令。在渲染指令中,若指示执行绘制操作,如通过glDrawElements函数来指示渲染,则表明真的要在当前绑定的FB中执行绘制操作。此时,CPU可记录绘制ID。示例性的,可执行下述308和309。在渲染指令中,若未指示执行绘制操作,例如不包括glDrawElements函数,那么则不记录绘制ID。
308、CPU响应于接收到游戏应用下发的渲染指令1,从内存中读取FB2的ID。
其中,渲染指令1指示执行绘制操作。该渲染命令1也可以称为第三渲染命令。
若CPU拦截到的渲染指令指示执行绘制操作,CPU则从内存中读取当前记录的FB的ID。如FB2的ID。
309、CPU存储FB2的ID,示例性的存为绘制ID。
其中,绘制ID指示当前帧的渲染过程中,截止当前最后的绘制操作针对的FB的ID。由于游戏主场景需要通过绘制操作而渲染得到,在记录绘制ID后,则后续仅需判断绘制ID指示的FB是否为目标帧缓冲即可。
应注意,在另一些实施例中,也可以在接收到FB2的绑定指令之后,则将FB2的ID存为绘制ID。从而可以省略后续308和309。
310、CPU向GPU发送渲染指令1。
CPU在拦截到渲染指令1后,将渲染指令1发送给GPU后。GPU执行渲染指令1,则可以在当前绑定的FB上执行绘制操作。例如,当前绑定的是FB2,则可以执行渲染指令1,在FB2上绘制游戏主场景。
上述310的执行时机并不以图3A所示为限,实际实施时,也可以在308和309之间执行310,或者可在308之前执行310。
前述305-310仅以FB2的渲染命令(包括FB2的绑定指令和渲染指令)为例说明了记录绘制ID的具体实现,而在一帧图像的渲染过程中,游戏应用会下发针对各个FB的渲染命令。例如,针对FB1的渲染命令,针对FB2的渲染命令……。在实际实施时,CPU在拦截针对任一FB的渲染命令(包括FB的绑定指令和渲染指令)后,都会确定操作类型是否为绘制类型,以及确定指示绑定的FB是否为FB0,并基于确定结果执行存储FB的ID的步骤,例如执行306。进一步的,会确定渲染指令是否指示执行绘制操作,并基于确定结果存储绘制ID,例如执行308-309。并且,后存储的FB的ID会覆盖先存储的FB的ID,后存储的绘制ID也会覆盖先存储的绘制ID。示例性的,在执行完310之后,CPU拦截到FB3的绑定指令(也可以称为第三绑定指令),此时,确定出操作类型是绘制类型,以及确定指示绑定的是FB3而不是FB0,则可以存储FB3的ID(也可以称为第三帧缓冲标识)。从而覆盖掉306中存储的FB2的ID。之后,CPU拦截到指示执行绘制操作的渲染指令,则可以从内存中读取FB3的ID,并将FB3的ID存为绘制ID。从而覆盖掉309中存储的绘制ID。如此,可以绘制ID始终指示截止当前最新的绘制操作针对的唯一FB。在下文实施例中,以最终的绘制ID是FB2的ID为例来说明。
在此需要说明的是,上述305-310中,在先根据绑定指令确定操作类型为绘制类型,再根据渲染指令确定渲染操作为绘制操作的情况下,才最终将当前绑定的FB的ID存储为绘制ID。从而可以提高存储的绘制ID的准确性。但是,在另一些实施例中,也可以在仅根据绑定指令确定操作类型为绘制类型的情况下,或者在仅根据渲染指令确定渲染操作为绘制操作的情况下,则将当前绑定的FB的ID存储为绘制ID。从而可以简化方案流程。
另一方面,由于需要在UI绘制(或者在将游戏主场景绘制到默认帧缓冲,下文中相同)前,对游戏主场景进行画质增强,则CPU在接收到针对各个FB的渲染命令后,都需要确定是否即将开始UI绘制。确定是否即将开始UI绘制的具体实现可参见下文311:
311、CPU响应于接收到游戏应用下发的FB0的绑定指令,确定操作类型是绘制类型,确定指示绑定的FB是FB0。
其中,FB0的绑定指定也可以称为第一绑定指令。
在游戏应用下发任一FB的绑定指令后,CPU可以拦截绑定指令,并根据该绑定指令确定当前绑定FB是否用于UI绘制。用于UI绘制,应该满足下列条件:
其一,UI绘制,则自然需要绘制操作才能完成渲染,那么,绑定指令中渲染操作的操作类型应该是绘制类型。即,GL_DRAW_FRAMEBUFFER或者GL_FRAMEBUFFER。而不能是GL_READ_FRAMEBUFFER。
其二,UI绘制,需要在默认帧缓冲(如FB0)中完成,那么,绑定指令中的ID应该指示默认帧缓冲。在同一型号的电子设备中,默认帧缓冲通常是固定的。不同型号的电子设备,默认帧缓冲可能不同。例如,机型a中的默认帧缓冲为FB0,机型b中的默认帧缓冲为FB100。本实施例中,默认帧缓冲为FB0,则需确定指示绑定的FB为FB0。
基于此,CPU可以通过识别绑定指令中的操作类型和ID,确定当前绑定FB是否用于绘制UI。若绑定指令中的操作类型是GL_DRAW_FRAMEBUFFER或者GL_FRAMEBUFFER,且绑定指令中的ID是预设ID(默认帧缓冲的ID),则确定当前绑定FB是用于绘制UI的。
以FB0的绑定指令中glBindFrameBuffer函数为glBindFramebuffer(GL_FRAMEBUFFER,FB0)为例。其中操作类型为GL_FRAMEBUFFER,即为可绘制类型。FB的ID为FB0,即指示绑定FB0。因此,可确定当前绑定FB是用于绘制UI的。
312、CPU向GPU发送FB0的绑定指令。
CPU在拦截到绑定指令后,会将绑定指令发送给GPU。GPU根据绑定指令则可以完成FB的绑定。后续在接收到渲染指令后,则可以在绑定的FB上执行渲染操作。
以CPU当前拦截到的是FB0的绑定指令为例,则将该FB0的绑定指令发送给GPU。GPU根据FB0的绑定指令可以绑定FB0,后续在接收到渲染指令后,则可以在FB2上执行渲染操作。
上述312的执行时机并不以图3A所示为限。例如,CPU也可以在拦截到绑定指令之后,则先向GPU发送绑定指令,然后再确定当前绑定FB是否用于绘制UI。又例如,CPU可以在执行下述313-317之间的任意时机,如314之后,向GPU发送绑定指令。
在确定当前绑定FB是用于绘制UI后,需要执行下述313-317,以完成与画质增强处理强相关的处理。
313、CPU确定画质增强模型未初始化,则存储FB0的绑定指令中的绘制大小,示例性的存为分辨率2。
其中,画质增强模型用于画质增强的运算。将目标帧缓冲中的渲染结果输入到画质增强模型后,运行画质增强模型,可以输出得到增强后的结果。增强后的结果的分辨率,高于目标帧缓冲的渲染结果的分辨率。
通常情况下,在首次确定出需要进行画质增强处理时,如首次确定出目标帧缓冲时,才会对画质增强模型初始化,如此才能保证初始化后的画质增强模型被有效利用。CPU在确定当前绑定的FB用于绘制UI之后,会确定画质增强模型是否初始化。若确定画质增强模型未初始化,那么需要存储分辨率2(即UI的分辨率,下同),以用于初始化画质增强模型。反之,若确定画质增强模型已初始化,那么无需存储分辨率2。
在一种具体的实现方式中,CPU可以记录全部变量,用于指示画质增强模型已初始化和/或者指示画质增强模型未初始化。然后,CPU可查询该全局变量,基于查询结果确定画质增强模型是否初始化。示例性的,CPU在完成画质增强模型的初始化时,则记录全局变量a。CPU查询到全局变量a(也可以称为第一标记),则表明画质增强模型已初始化,则无需存储分辨率2。反之,CPU未查询到全局变量a,则表明画质增强模型未初始化,则需要存储分辨率2,以用于后续初始化画质增强模型。
图3A中,游戏应用完成资源加载并在进入渲染阶段后,CPU首次确定出当前绑定的FB用于绘制UI时(如311),很显然还并未首次确定出需要进行画质增强处理。此时,CPU会确定出画质增强模型未初始化(如313)。
对于针对默认帧缓冲(如FB0)的渲染命令,除了包括绑定指令和渲染指令之外,还可以包括分辨率设置指令。示例性的,在分辨率设置指令中,调用glViewport函数来限定在执行渲染操作时的绘制大小。该绘制大小即为绘制UI的分辨率,简称UI的分辨率。
示例性的,glViewport函数具体为glViewport(x0,y0,w0,h0),x0、y0为原点(如左上顶点)坐标,w0、h0分别为绘制大小的宽度值和高度值。本申请实施例中,需要对目标帧缓冲中的渲染结果进行画质增强处理,再将增强后的内容绘制到默认帧缓冲中,也即贴到UI上。因此,需要使增强后的内容的分辨率与UI的分辨率相匹配。通过存储UI的分辨率,则可以用于初始化画质增强模型输出的内容的分辨率。
在一种具体的实现方式中,游戏应用先调用glViewport函数下发分辨率设置指令,然后调用glBindFramebuffer函数下发绑定指令。在该实现方式中,CPU在接收到glViewport函数限制的绘制大小之后,则缓存该绘制大小。然后,CPU在接收到glBindFramebuffer函数指示的操作类型和ID后,若确定出当前绑定FB用于绘制UI,则可以获取缓存的绘制大小,并将该绘制大小存为UI的分辨率。如此,可成功保存UI的分辨率。
314、CPU向内存中记录标记位1,该标记位1指示当前绑定的是FB0。
其中,标记位1也可以称为第二标记。
在本申请实施例中,CPU在拦截到FB0的绑定指令后,除了需要向GPU发送FB0的绑定指令,以实现FB0的绑定之外,还需要执行其他若干步骤(如312、下文中的315-317等)。然后才会处理渲染指令。因此,为了确定在执行完若干步骤之后,后续接收到渲染指令时,当前绑定的FB还是FB0,CPU在确定出当前绑定的FB用于绘制UI之后,可以向内存中记录标记位1,用于指示当前绑定的是FB0,即默认帧缓冲。后续,若绑定的FB发生变化,CPU则可以清除掉该标记位1。示例性的,在接收到游戏应用下发的指示绑定其他FB(除FB0之外的FB)的绑定指令(也可以称为第四绑定指令,也就是说,第四绑定指令中的第四帧缓冲标识未指示FB0)之后,则可以删除标记位1。
315、CPU从内存中读取绘制ID和分辨率1,绘制ID为FB2的ID。
CPU确定出当前绑定的FB用于绘制UI,则表明即将开始UI绘制,也即将开始将离屏帧缓冲中的渲染结果绘制到默认帧缓冲中。此时,CPU从内存中读取绘制ID和分辨率1,即游戏主场景的分辨率,以用于确定绘制ID指示的FB(也可以称为待处理帧缓冲)是否为目标帧缓冲。本实施例中,以最终的绘制ID是FB2的ID为例,那么读取到的绘制ID为FB2的ID,绘制ID指示的FB即为FB2。
316、CPU从GPU中读取FB2的ID对应的纹理附件1的大小和纹理附件1的ID。
GPU在创建FB后,还会存储创建的FB的标识(如ID)、纹理附件的标识(如ID)以及纹理附件的大小的对应关系。可参见304中相关部分的说明。
GPU在读取到绘制ID后,则可以根据绘制ID从GPU存储的对应关系中获取到与该绘制ID对应的纹理附件(即,绘制ID指示的FB绑定的纹理附件,也可以称为待处理纹理)的ID和纹理附件的大小。本实施例中,以绘制ID是FB2的ID为例,那么获取到的则是纹理附件1的大小和纹理附件1的ID。
317、CPU确定纹理附件1的大小和分辨率1相同,确定画质增强模型未初始化。
只有当绘制ID指示的FB绑定的纹理附件的大小与游戏主场景的分辨率一致时,绘制ID指示的FB才能用于渲染游戏主场景。反之,则不能。基于此,若检测出绘制ID对应的纹理附件的大小和游戏主场景的分辨率一致,则确定绘制ID指示的FB是目标帧缓冲,绘制ID指示的FB上绘制的内容包括游戏主场景,则存在画质增强处理的需求。也就是说,目标帧缓冲绑定的纹理(如第一纹理)需要满足预设条件。此时,则需要再次确定画质增强模型是否初始化。若已初始化,则接下来无需初始化画质增强模型,而可以直接将初始化的画质增强模型用于画质增强处理。若未初始化,则接下来首先需要初始化画质增强模型,然后才能使用。
本实施例中,以绘制ID是FB2的ID为例,那么绘制ID对应的纹理附件即为FB2绑定的纹理附件1。并且,存储的游戏主场景的分辨率,即分辨率1也是纹理附件1的大小。很显然,绘制ID对应的纹理附件的大小与游戏主场景的分辨率相同。
若检测出绘制ID对应的纹理附件的大小和预设内容的分辨率不一致,则确定绘制ID指示的FB不是目标帧缓冲,绘制ID指示的FB上绘制的内容不包括游戏主场景,而可能是一些后期效果(如bloom),则不存在画质增强处理的需求。针对这种情况,则按照正常渲染流程,将离屏帧缓冲中的渲染结果绘制到FB0中,以及在FB0中绘制UI即可。本文中对这种情况不多赘述。
游戏应用在下发FB0的绑定指令后,紧接着会下发将离屏帧缓冲中的渲染结果绘制到FB0上的渲染指令。需要说明的是,若当前帧图像的离屏渲染在多个离屏帧缓冲中完成,那么应用程序会下发将多个离屏帧缓冲中的渲染结果都绘制到FB0上的渲染指令。但是,在本申请实施例中,只需要将目标帧缓冲中的渲染结果进行画质增强处理后,再绘制到FB0中。而其它离屏帧缓冲的渲染结果无需进行画质增强处理,仅需按照正常的渲染流程绘制到FB0中即可。因此,在下文中,主要针对将目标帧缓冲的渲染结果绘制到FB0中的过程做详细说明。
游戏应用在下发将目标帧缓冲中的渲染结果绘制到FB0上的渲染指令(也可以称为第一渲染指令)之后,CPU会拦截该渲染指令。在将目标帧缓冲中的渲染结果(也可以称为第一图像内容)绘制到FB0上的渲染指令中,可调用glBindTexture函数来指示存储目标帧缓冲中的渲染结果的纹理附件,例如,glBindTexture函数中包括纹理附件的标识(如ID)。以及可调用glUseProgram来指示此次渲染使用的可执行程序(program)。program是跑在GPU上的程序,作用是指示GPU着色器如何绘制图形,例如涂成什么颜色。本实施例中,目标帧缓冲为FB2,则将目标帧缓冲中的渲染结果绘制到FB0上的渲染指令具体为:将FB2中的渲染结果(包括游戏主场景,可记为渲染结果1,也就是说,第一图像内容是渲染结果1)绘制到FB0上的渲染指令(可记为渲染指令2,也就是说,第一渲染指令是渲染指令2)。参见图3B,渲染指令2中包括如下内容:
glBindTexture(GL_TEXTURE_2D,120)//指示从ID为120的纹理附件中获取游戏主场景;
glUseProgram(101)//101指示使用ID为101的program来完成渲染。
CPU在执行完317,并且拦截到渲染指令2后,可通过下述318-321来初始化画质增强模型:
318、响应于接收到游戏应用下发的渲染指令2,CPU若从内存中读取到标记位1,则进一步读取分辨率2。
CPU在拦截到渲染指令后,可以从内存中读取标记位1。若可以读取到标记位1,则表明当前绑定的FB还是FB0。此时,则能正常进行画质增强处理,例如,可进一步读取UI的分辨率,即分辨率2,以初始化画质增强模型。反之,若未读取到标记位1,则表明当前绑定的FB已经发生了变化。此时,则丢弃当前的渲染指令,不做处理。
需要在此说明的是,在另一些实施例中,也可以省略前述314,相应的,CPU在接收到渲染指令2后,可以读取UI的分辨率。如此,可以简化方案的流程。
319、CPU向GPU发送资源初始化命令1。
本申请实施例中,画质增强模型(同下文中的第一画质增强模型,也可以称为第二模型)的算法源码集成在着色器1(shader1,也可以称为第三着色器)中。并且,会将shader1的编译结果绑定(或附加)到program1(也可以称为第三program)上。后续,在需要使用画质增强模型时,则可以调用program1,使用program1绑定的shader1中的算法对图像中的顶点(Vertex)和/或片段(Fragment)进行着色操作,实现对游戏主场景的画质增强。
其中,资源初始化命令1可以指示创建program1。创建program1包括:创建shader1,将画质增强模型的算法源码集成在shader1中。还包括:创建program1,将shader1绑定在program1上。还包括:确定program1的ID。应理解,GPU在创建相应的资源(如FB、纹理、program)时,可以为资源设置相应的ID,即确定ID。
如下所示为资源初始化命令1的一个示例:
g_algoShader=glCreateShader(GL_COMPUTE_SHADER)//创建着色器对象algoShader;
glShaderSource(algoShader,1,&algoShaderBuffer,NULL)//将画质增强模型的算法源码集成到着色器对象algoShader中;
glCompileShader(algoShader)//编译着色器algoShader的算法源码;
g_algoProgram=glCreateProgram()//创建program;
glAttachShader(algoProgram,algoShader)//将着色器的编译结果绑定(或附加)到program上。
进一步的,渲染结果通常是存储在纹理中的,使用画质增强模型处理游戏主场景后的渲染结果(即增强后的游戏主场景)同样也是。例如,增强后的游戏主场景存在纹理2(也可以称为第二纹理)中。相应的,还可以通过资源初始化命令1指示创建纹理2以及确定纹理2的ID。需要说明的是,纹理2用于存储增强后的游戏主场景,而增强后的游戏主场景需要绘制到FB0上,即贴到UI上。那么,增强后的游戏主场景的分辨率应该和UI的分辨率相等。所以,用于存储增强后的游戏主场景的纹理2应该也要和UI的分辨率相等,即为分辨率2。
如下所示为资源初始化命令1中创建纹理的一个示例:
glGenTextures(1,&algoTexture)//创建纹理对象algoTexture;
glBindTexture(GL_TEXTURE_2D,algoTexture)//设置纹理对象algoTexture的类型为GL_TEXTURE_2D类型,即2D类型;
glTexStorage2D(GL_TEXTURE_2D,1,GL_RGBA8,width,height);//为纹理对象分配大小的宽度width和高度height,该大小为UI的分辨率。
GPU在接收到资源初始化命令1后,可以创建纹理2、shader1以及program1,将画质增强模型的算法集成在shader1中,将shaer1绑定在program1上。并且,确定纹理2的ID以及program1的ID。GPU在完成这些初始化过程后,可以将纹理2的ID以及program1的ID返回给CPU,以供CPU后续向GPU请求进行画质增强处理。
320、CPU接收GPU返回的纹理2的ID和program1的ID。
321、CPU将分辨率1和分辨率2传递给GPU。
例如,CPU可以调用glUniform函数将分辨率1和分辨率2传递给GPU
GPU在接收到分辨率1和分辨率2后,可以对画质增强模型初始化。GPU可以将分辨率1和分辨率2配置为program1中画质增强模型的模型参数,以指示画质增强模型在进行画质增强处理时,将输入的分辨率1的内容提升为分辨率2的内容后输出。也就是说,GPU需要根据分辨率1和分辨率2来初始化画质增强模型。
322、CPU向GPU发送画质增强命令,画质增强命令中携带有纹理附件1的ID和program1的ID。
CPU向GPU发送画质增强命令,画质增强命令中携带有用于存储游戏主场景的纹理附件的ID,以指示待处理的游戏主场景的存储位置。其中,存储游戏主场景的纹理附件即为目标帧缓冲绑定的纹理附件。本实施例中,目标帧缓冲为FB2,FB2绑定的纹理附件为纹理附件1,那么,画质增强命令中携带有纹理附件1的ID。以及,画质增强命令中还携带有program1的ID,以指示使用program1来完成画质增强处理。
GPU在接收到画质增强命令后,调用program1对游戏主场景进行画质增强处理,得到增强后的游戏主场景。本实施例中,FB2为目标帧缓冲,游戏主场景即为在FB2中渲染得到的渲染结果1。那么,GPU执行画质增强命令,则可以将渲染结果1增强得到增强后的渲染结果(可记为渲染结果2,也可以称为第二图像内容)。也就是说,第二图像内容是基于第一图像内容生成的。并且,GPU可将增强后的游戏主场景存储到纹理2中。
经过上述步骤,在将游戏主场景绘制到FB0上之前,需要先对游戏主场景(即第一图像内容)进行画质增强处理,生成增强后的游戏主场景(即第二图像内容),然后将增强后的游戏主场景绘制到FB0上。这样,才能在屏幕中显示增强后的游戏主场景。具体可参见下文323-324:
323、CPU将渲染指令2中纹理附件1的ID替换为纹理2的ID,得到渲染指令3。
其中,纹理附件1的ID也可以称为第一纹理标识,纹理附件2的ID也可以称为第二纹理标识,渲染指令3也可以称为第二渲染指令。
CPU修改渲染指令,将glBindTexture函数中的纹理ID,替换为纹理2的ID。
本实施例中,目标帧缓冲为FB2,则存储增强前的游戏主场景纹理附件即为FB2绑定的纹理附件1,glBindTexture函数中携带的即为纹理附件1的ID。CPU可以纹理2的ID替换纹理附件1的ID,得到渲染指令3。
参见图3B,假设纹理2的ID为140。CPU将渲染指令2中glBindTexture函数中的120,替换为140,得到替换后的glBindTexture函数具体为glBindTexture(GL_TEXTURE_2D,140),从而可以指示从ID为140的纹理中获取增强后的游戏主场景。
324、CPU向GPU发送渲染指令3。
CPU将修改后的渲染指令发送给GPU,以指示GPU将纹理2中存储的内容(即增强后的游戏主场景)绘制到FB0上。GPU在接收到修改后的渲染指令后,则可以实现将增强后的游戏主场景绘制到FB0上。
当将所有的离屏帧缓冲中的内容都绘制到FB0上,且在FB0上完成UI绘制后,则可在显示屏中显示完整的一帧图像。
至此,则完成了游戏应用中一帧图像的画质增强。
在上述图3A所示的实施例中,在游戏主场景渲染完成之后,UI绘制之前,将渲染得到的游戏主场景作为画质增强的输入,通过GPU对画质增强模型的运算,提升画面质感,输出高质量的图像。
在上述图3A所示的流程中,详细说明了从游戏应用的资源加载阶段开始,到完成一次画质增强处理的完整实现。接着,只要游戏应用的进程未被清理掉,则在后续帧图像的渲染过程中,可以继续使用已初始化的画质增强模型进行画质增强处理。也就是说,后续则无需再次初始化画质增强模型了。
示例性的,参见图3C,为本申请实施例提供的一种图像处理方法的流程示意图。本实施例中,主要针对完成图3A中第一次的画质增强处理后,接着第二次及以后的画质增强处理的过程进行说明。在本实施例中,仍以游戏主场景在FB2完成渲染,FB0为默认帧缓冲为例来说明。如图3C所示,该方法可以包括:
305a、CPU响应于接收到游戏应用下发的到FB2的绑定指令,确定操作类型为绘制类型,确定指示绑定的FB不是FB0。参见305。
306a、CPU将FB2的ID存储到内存中。参见306。
307a、CPU向GPU发送FB2的绑定指令。参见307。
308a、CPU响应于接收到游戏应用下发的渲染指令1,从内存中读取FB2的ID。参见308。
309a、CPU存储FB2的ID,示例性的存为绘制ID。参见309。
310a、CPU向GPU发送渲染指令1。参见310。
311a、CPU响应于接收到游戏应用下发的FB0的绑定指令,确定操作类型是绘制类型,确定指示绑定的FB是FB0。参见311。
312a、CPU向GPU发送FB0的绑定指令。参见312。
313a、CPU确定画质增强模型已初始化。
在图3A第一次进行画质增强处理时,已经对画质增强模型初始化了。那么,在后续各帧图像的渲染过程中,则无需使用UI的分辨率来完成初始化。因此,在本实施例中,确定出画质增强模型已初始化后,则无需执行图3A的313中将FB0的绑定指令中的绘制大小存储为分辨率2的步骤。
314a、CPU向内存中记录标记位1,该标记位1指示当前绑定的是FB0。参见314。
315a、CPU从内存中读取绘制ID和分辨率1,绘制ID为FB2的ID。参见315。
316a、CPU从GPU中读取FB2的ID对应的纹理附件1的大小和纹理附件1的ID。参见316。
317a、CPU确定纹理附件1的大小和分辨率1相同,确定画质增强模型已初始化。
在图3A第一次进行画质增强处理时,已经对画质增强模型初始化了。那么,在后续各帧图像的渲染过程中,都会确定出画质增强模型已经初始化。
318a、CPU响应于接收到游戏应用下发的渲染指令2,从内存中读取标记位1。参见318。
由于画质增强模型已经初始化了,因此可以省略掉图3A中初始化的步骤,如319-321。
322a,CPU若读取到标记位1,向GPU发送画质增强命令,画质增强命令中携带有纹理附件1的ID和program1的ID。参见322。
323a、CPU将渲染指令2中纹理附件1的ID替换为纹理2的ID,得到渲染指令3。参见323。
324a、CPU向GPU发送渲染指令3。参见324。
至此,则完成了另一帧图像的画质增强。
后续,针对任一帧图像的渲染,都可以重复按照上述图3C所示的流程来处理。直至游戏应用被清理后,再次启动时,则需要先按照上述图3A所示的流程来处理、再按照图3C所示的流程来处理。
前述图3A-图3C的实施例中,以不同帧图像的渲染过程中,均在同样的FB(如FB2)中完成游戏主场景的渲染来说明。但是实际中,不同帧图像的渲染过程中,可以在不同的FB中完成游戏主场景的渲染。例如,在第一帧图像的渲染过程中,在FB2中完成该帧图像中游戏主场景的渲染。在第二帧图像的渲染过程中,在FB4中完成该帧图像中游戏主场景的渲染。本申请实施例对此不作具体限定。
前述图3A-图3C的实施例中,仅在将游戏主场景绘制到FB0前,对游戏主场景进行画质增强处理(记为第一阶段的画质增强处理)。在另一些实施例中,为了进一步提升画质,还可以在将增强后的游戏主场景绘制到FB0的过程中,继续画质增强处理(记为第二阶段的画质增强处理)。在第一阶段的画质增强处理过程(即图3A-图3C的实施例)中,主要是提升游戏主场景的分辨率。而第二阶段的画质增强处理过程中,主要是对游戏主场景进行锐化、降噪等处理。
示例性的,参见图4A,为本申请实施例提供的一种图像处理方法的流程示意图。本实施例中,会先后依次完成第一阶段的画质增强处理和第二阶段的画质增强处理。与图3A中不同的是,本实施例中涉及两个阶段的画质增强处理,因此需要初始化分别用于两个阶段的画质增强模型,即第一画质增强模型和第二画质增强模型。其中,图3A-图3C中的画质增强模型即为该第一画质增强模型,用于第一阶段的画质增强处理,主要实现提升分辨率。第二画质增强模型则用于第二阶段的画质增强处理,主要实现图像锐化和/或降噪。
与第一画质增强模型类似:第二画质增强模型的算法源码集成在shader2中。并且,会将shader2的编译结果绑定(或附加)到program2上。后续,在需要使用第二画质增强模型时,则可以调用program2,使用program2绑定的shader2中的算法对图像中的顶点(Vertex)和/或片段(Fragment)进行着色操作,实现第二阶段的画质增强处理。
具体的,如图4A所示,在完成301-320(可参见图3A中的说明)之后,还包括401和402:
401、CPU向GPU发送资源初始化命令2。
其中,资源初始化命令2可以指示创建program2(也可以称为第二program)。创建program2包括:创建shader2(也可以称为第二着色器),将第二画质增强模型(也可以称为第一模型)的算法源码集成在shader2中。还包括:创建program2,将shader2绑定在program2上。还包括:确定program2的ID(也可以称为第二程序标识)。
GPU在接收到资源初始化命令2后,可以创建shader2以及program2,将画质增强模型的算法源码集成在shader2中,将shaer2绑定在program2上。并且,确定program2的ID。GPU在完成这些初始化过程后,可以将program2的ID返回给CPU,以供CPU后续向GPU请求进行第二阶段的画质增强处理。
402、CPU接收GPU返回的program2的ID。
进一步的,如图4A所示,在完成321(可参见图3A中的说明)后,GPU需要初始化第一画质画质增强模型和第二画质增强模型,而不只是初始化第一画质增强模型。
关于第一画质增强模型的初始化,可参见图3A中的相关说明,此处不再赘述。
在使用第一画质增强模型实现第一阶段的画质增强处理后,可继续使用第二阶段的画质增强模型实现第二阶段的画质增强处理,以将增强后的游戏主场景进行锐化、降噪等处理后绘制到FB0上。也就是说,第一画质增强模型的输出即为第二画质增强模型的输入。那么。第二画质增强模型的输入内容(即游戏主场景)对应的分辨率应该是UI的分辨率,即分辨率2。并且,使用第二画质增强模型无需再提升分辨率。因此,第二画质增强模型的输出内容对应的分辨率应该也是UI的分辨率,即分辨率2。基于此,GPU在接收到分辨率1和分辨率2后,将分辨率2配置为program2中第二画质增强模型的模型参数,以指示第二画质增强模型在进行画质增强处理时,将输入的分辨率2的内容依然以分辨率2输出。从而完成对第二画质增强模型的初始化。
需要说明的是,在第一画质增强模型和第二画质模型的初始化时,可能还需要初始化一些其他模型参数,例如,锐化参数。这些模型参数也可以由CPU传递给GPU。然后GPU将模型参数存入相应的画质增强模型中,从而实现这些参数的初始化。
如图4A所示,在模型初始化完成后,首先需要执行321和322(可参见图3A中的说明),以完成第一阶段的画质增强处理。然后,还需要进一步完成第二阶段的画质增强处理。具体的,图3A中的323具体可以为403:
403、CPU将渲染指令2中纹理附件1的ID替换为纹理2的ID,将渲染指令2中携带的program的ID替换为program2的ID,得到渲染指令3。
其中,渲染指令2中携带的program可以称为第一program,渲染指令2中携带的program的ID也可以称为第一程序标识。第一程序标识指示第一program,第一program用于根据第一program绑定的第一着色器绘制图像,第一着色器中未集成第一模型,第一模型用于图像的锐化处理和/或降噪处理。
本实施例中,在将增强后的游戏主场景绘制到FB0上的过程中,会做进一步的画质增强处理,如锐化处理。因此,在将glBindTexture函数中的纹理ID,替换为纹理2的ID的基础上,还需要将glUseProgram函数中的ID替换为program2的ID。这样,才能指示GPU使用program2将增强后的游戏主场景再次增强后绘制到FB0,以完成第二阶段中的画质增强处理。
参见图4B,游戏应用向CPU下发的将FB2中的渲染结果绘制到FB0上的渲染指令包括如下内容:
glBindTexture(GL_TEXTURE_2D,120)//指示从ID为120的纹理附件中获取游戏主场景;
glUseProgram(101)//指示使用ID为101的program来完成绘制。
GPU需要将渲染指令中glBindTexture函数中的ID替换为纹理2的ID。参见图4B,纹理2的ID为140,则替换后的glBindTexture函数具体为glBindTexture(GL_TEXTURE_2D,140),从而可以指示从纹理2中获取增强后的游戏主场景。以及,CPU需要将渲染指令中glUseProgram函数中的ID替换为program2的ID。参见图4B,program2的ID为110,则替换后的glUseProgram函数具体为glUseProgram(110),从而可以指示使用program2将增强后的游戏主场景再次增强后绘制到FB0上。
如图4A所示,在完成上述403后,CPU可以执行324(可参见图3A),向GPU发送修改后得到的渲染指令3。
GPU在接收到渲染指令3后,则可以在将增强后的游戏主场景再次进行锐化和/或降噪等处理后绘制到FB0上,即将经过锐化处理和/或降噪处理后的游戏主场景绘制到FB0中,进一步提升游戏画质。
在一些场景中,当游戏改版之后,在将游戏主场景的绘制到FB0的过程中,则可能不再适宜做锐化、降噪等画质增强处理。例如,在游戏改版后,游戏图像的风格由明亮风格转变为暗黑风格,此时,若在将游戏主场景绘制到FB0的过程中,采用锐化的画质增强模型来对游戏主场景完成锐化处理并绘制到FB0上。那么最终呈现的游戏图像则可能不是暗黑风格了。如此,显然是不合适的。
基于此,在一些实施例中,在上述图4A所示的实施例的403之前,CPU可以对将游戏主场景绘制到FB0上的program进行校验。校验该program是否为预期的program。若为预期的program,则表明将游戏主场景的绘制到FB0的过程,适合进一步进行画质增强处理。此时则可以继续执行403。若不是预期的program,则在第二阶段不做画质增强处理。如此,可以提升画质增强处理的合理性。
至此,需要说明的是,在另一些实施例中,也可以仅在第二阶段做画质增强处理,而在第一阶段不做画质增强处理。或者,在又一些实施例中,可以在一个阶段(如第一阶段或者第二阶段)中,同时完成提升分辨率,以及锐化和/或降噪的画质增强处理。本申请实施例对此不作具体限定。
在本申请实施例中,画质增强模型可以是为游戏应用配置的固定模型。例如,为游戏应用1配置画质增强模型a,为游戏应用2配置画质增强模型2。或者,针对同一游戏应用,画质增强模型是可以动态调整的。例如,可以根据用户设置的增强等级和/或增强方式来动态调整画质增强模型。又例如,可以根据电子设备的负载参数,如温度,动态调整画质增强模型。本申请实施例对此不做具体限定。
参见图5,以根据用户设置的画质增强等级和/或画质增强方式来动态调整画质增强模型为例,来进一步说明本申请实施例的图像处理方法的具体实现。在游戏应用的设置(如游戏助手)中,可以提供画质增强的设置项。如图5所示,在手机上启动游戏应用后,在设置中提供有两种增强方式(图中椭圆虚线所示):自适应画质方式和固定增强档方式。
在固定增强档方式下,电子设备可以根据用户选择的增强等级来选择画质增强模型。继续参见图5,待选的增强等级(即增强档)有“低”、“中”和“高”三个。若用户选择增强等级“中”,那么则需要匹配增强效果适中的画质增强模型。
在自适应画质方式下,电子设备可以在渲染的过程中,采集电子设备的温度、CPU的负载、GPU的负载等负载参数。例如,电子设备可以定期采集电子设备的温度。又例如,电子设备可以在每次显示完一帧图像后,采集CPU的负载和/或GPU的负载。然后根据这些负载参数自动选择相匹配的画质增强模型。在一种具体的实现方式中,电子设备可以根据这些负载参数预估电子设备在渲染下一帧图像时的负载,然后根据预估结果自动选择相匹配的画质增强模型。通常情况下,画质增强模型的增强效果越强,则往往需要更高的功耗。因此,在自动选择相匹配的画质增强模型时,若负载参数反映的电子设备的负载越低,如温度越低,则选择增强效果更强的画质增强模型。从而可以在电子设备的负载较低时,保证画质增强的效果。在自适应画质方式下,电子设备根据实时采集的负载参数来动态调整画质增强模型。如此,在负载不同时,可以选择不同的画质增强模型来完成画质增强的运算,以平衡增强效果和电子设备的负载。
也就是说,在动态调整画质增强模型的实施例中,提供有多个画质增强模型供选择。那么,需要针对多个画质增强模型来创建对应的资源(如program)以及初始化。
在一种具体的实现方式中,可以集中完成针对所有画质增强模型对应的资源的创建,以及集中完成所有画质增强模型的初始化。如图6所示,在完成301-318(可参见图3A中的说明)之后,可以集中完成资源创建和画质增强模型初始化。
319、CPU向GPU发送资源初始化命令1。参见图3A。
320、CPU接收GPU返回的program3的ID。参见图3A。
在完成上述针对一个画质增强模型的资源创建之后,可以接着针对下一个画质增强模型完成资源创建。如501-502所示:
601、CPU向GPU发送资源初始化命令3。
602、CPU接收GPU返回的program3的ID。
需要说明的是,在602之后还可以继续针对下一个画质增强模型完成资源创建,此处不再一一罗列。关于针对画质增强模型创建资源的具体实现,可参见图3A中的相关说明。此处不再赘述。但是,需要说明的是,针对一帧图像的渲染,仅会输出一个增强后的游戏主场景,因此,只需创建一个纹理,如纹理2即可。而无需针对每个画质增强模型均创建纹理资源。
在完成针对所有画质增强模型的资源创建后,CPU可以记录画质增强模型及其资源的对应关系。例如,画质增强模型和绑定有该模型的program的ID的对应关系。从而方便后续发送画质增强指令时,确定携带的program的ID。
如图6所示,在完成资源创建后,则可以执行321,将分辨率1和分辨率2发送给GPU。GPU在接收到分辨率1和分辨率2后,则可以初始化画质增强模型。关于画质增强模型的初始化,可参见图3A中的相关说明,此处不再赘述。
如图6所示,方法还包括603:
603、CPU确定当前选择的目标模型。
CPU可以根据用户设置的增强等级和/或增强方式来选择目标模型。
上述603的执行时机并不以图6所示为限,实际实施时,只要在604之前确定即可。
进一步的,在动态调整画质增强模型的实施例中,若相邻两次画质增强处理采用的画质增强模型不同,且该不同的画质增强模型的增强效果差异较明显,那么则会导致画质瞬变。例如,从画质较差瞬变到画质极好。为了解决该问题,在一些实施例中,在动态调整画质增强模型时,可以采用多级渐变的方式来调整,使得画质增强的效果可以平滑过渡。也就是说,若此次选出的模型与上一次使用的模型为预设组合,CPU可以调整此次选择的模型,使调整后的目标模型与上一次使用的模型对应的增强效果的差值小于预设差异值。其中,预设组合中两个模型对应的增强效果的差异大于预设差异值。
如图6所示,图3A中的322具体为:
604、CPU向GPU发送画质增强命令,画质增强命令中携带有纹理附件1的ID和目标模型对应的目标program的ID。
例如,目标模型是画质增强模型3,为画质增强模型3创建的program为program3,那么,可以在画质增强指令中携带program3的ID。
采用本实施例中,则可以每次都采用与用户设置相匹配的画质增强模型来完成画质增强处理。
上述图6的实施例中,以集中完成资源创建和画质增强模型初始化为例来说明。实际实施时,也可以一次仅针对当前选择的目标模型完成对应的资源创建和初始化。此后,当选择的目标模型发生改变后,则需要再次针对变化后的目标模型完成对应的资源创建和初始化。本申请实施例对此不作具体限定。
图7为本申请实施例提供的一种电子设备的软件结构框图。如图7所示,该电子设备可以包括应用层701,框架层702,系统库703,以及硬件层704等。
其中,应用层701也可以称为应用程序层,或者应用(application,APP)层。在一些实现中,应用程序层可以包括一系列应用程序包。应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。应用程序包还可以包括需要通过渲染图像向用户展示图片或者视频的应用程序。比如,该应用层701中包括的应用程序可以为游戏类应用程序,例如
Figure BDA0003525213040000221
等。
框架层702也可以称为应用程序框架层。该框架层702可以为应用层701的应用程序提供应用编程接口(application programming interface,API)和编程框架。框架层702包括一些预先定义的函数。
示例性的,框架层702可以包括窗口管理器,内容提供器,视图系统,资源管理器,通知管理器,活动管理器,输入管理器等。窗口管理器提供窗口管理服务(Window ManagerService,WMS),WMS可以用于窗口管理、窗口动画管理、surface管理以及作为输入系统的中转站。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。该数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。活动管理器可以提供活动管理服务(Activity Manager Service,AMS),AMS可以用于系统组件(例如活动、服务、内容提供者、广播接收器)的启动、切换、调度以及应用进程的管理和调度工作。输入管理器可以提供输入管理服务(Input Manager Service,IMS),IMS可以用于管理系统的输入,例如触摸屏输入、按键输入、传感器输入等。IMS从输入设备节点取出事件,通过和WMS的交互,将事件分配至合适的窗口。
系统库703可以包括多个功能模块。例如:表面管理器(surface manager),媒体框架(Media Framework),标准C库(Standard C library,libc),嵌入式系统的开放图形库(OpenGL for Embedded Systems,OpenGL ES)、Vulkan、SQLite、Webkit等。
其中,表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体框架支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:动态图像专家组4(Moving PicturesExperts Group,MPEG4),H.264,动态影像专家压缩标准音频层面3(Moving PictureExperts Group Audio Layer3,MP3),高级音频编码(Advanced Audio Coding,AAC),自适应多码解码(Adaptive Multi-Rate,AMR),联合图像专家组(Joint Photographic ExpertsGroup,JPEG,或称为JPG),便携式网络图形(Portable Network Graphics,PNG)等。OpenGLES和/或Vulkan提供应用程序中2D图形和3D图形的绘制和操作。SQLite为电子设备的应用程序提供轻量级关系型数据库。在一些实现中,系统库703中的OpenGL提供渲染功能,可根据应用程序下发的渲染命令对待显示的图像进行渲染。
在如图7的示例中,电子设备中还可以包括硬件层704。该硬件层704中可以包括处理器,如中央处理器(Central Processing Unit/Processor,CPU),图形处理器(graphicsprocessing unit,GPU),神经网络计算处理器(neural-network processing units,NPU)等。
进一步的,参见图8,框架层中可以设置一个或多个功能模块,用于实现本申请实施例提供的图像处理方案。示例性的,框架层中可以设置有拦截模块,识别模块,决策模块、配置模块以及画质增强模块等。并且,硬件层中的CPU可以控制框架层中的上述各个模块实现其各自的功能,GPU或者NPU可以根据框架层中各个模块处理后的指令所调用的图形库(如OpenGL ES)中的API执行相应的渲染处理。下面将结合各个模块,对本申请实施例提供的图像处理方法做进一步详细说明。
如图8所示,应用层中的游戏应用在加载资源的过程中,会下发创建帧缓冲资源命令,创建帧缓冲资源命令用于创建图像对应的帧缓冲,为后续的图像渲染做准备。游戏应用在资源加载结束后,需要显示图像时,会下发渲染命令。应理解,渲染命令可以包括先后依次下发的FB的绑定指令和渲染指令。
框架层中的拦截模块可以拦截游戏应用下发的创建帧缓冲资源命令和渲染命令。拦截模块还可以在拦截到创建帧缓冲资源命令和渲染命令后,都会发送给框架层中的识别模块。以及,将渲染命令发送给框架层中的决策模块。
识别模块可以根据接收到的创建帧缓冲资源命令确定出游戏主场景的分辨率,并存储到内存中。识别模块还可以根据接收到的渲染命令确定UI的分辨率以及绘制ID,并存储到内存中。其中,游戏主场景的分辨率和UI的分辨率可以用于初始化画质增强模型。游戏主场景的分辨率和绘制ID可以用于确定是否需要进行画质增强处理。
决策模块可以根据接收到的渲染命令确定是否需要进行画质增强处理,即确定绘制ID对应的纹理附件的大小是否和游戏主场景的分辨率相同。若相同,则确定需要进行画质增强处理,则将渲染命令发送给框架层中的画质增强模块。若不相同,则不需要进行画质增强处理,则直接调用图形库完成渲染。
框架层中的配置模块可以从系统库的文件库中读取为当前游戏应用配置的画质增强模型。并将读取的模型配置结果发送给画质增强模块。
画质增强模块可以根据接收到的渲染命令和模型配置,向GPU发送画质增强命令,以请求调用相应的program进行画质增强处理。并且,画质增强模型还会修改渲染命令,并将修改后的渲染命令发送给GPU。
最后,GPU根据画质增强命令可实现对游戏主场景的画质增强。以及GPU根据修改后的渲染命令可以将增强后的游戏主场景绘制到默认帧缓冲上。
图9A和图9B为本申请实施例提供的一种图像处理方法的流程图。该方法可以应用于具有图8所示的软件结构的电子设备。电子设备包括游戏应用、拦截模块,识别模块,决策模块、配置模块、画质增强模块、CPU、GPU和内存,其中拦截模块,识别模块,决策模块、配置模块、画质增强模块为受CPU控制的模块,可以为CPU内的模块。
如图9A和图9B所示,所述方法包括:
900、拦截模块接收创建帧缓冲资源命令。
901、拦截模块向识别模块发送创建帧缓冲资源命令。
902、识别模块确定创建帧缓冲资源命令中指示绑定的纹理附件的大小。
903、识别模块确定纹理附件的大小是否满足预设条件,若是,则执行904;若否,则针对下一条创建帧缓冲资源命令,继续执行900及其后续步骤。
904、识别模块存储纹理附件的大小,示例性的存为分辨率1。
其中,分辨率1即为游戏主场景的分辨率。
905、拦截模块接收FB的绑定指令。
其中,渲染命令通常可以包括绑定指令和渲染指令两部分。
拦截模块在拦截到FB的绑定指令后,一方面可以将绑定指令发送给识别模块。
906、拦截模块向识别模块发送FB的绑定指令。
907、识别模块确定FB的绑定指令中操作类型是否为绘制类型,以及确定指示绑定的FB是否为FB0。若操作类型是绘制类型,且指示绑定的FB不是FB0,则执行908;否则,则不执行908。
908、识别模块将指示绑定的FB的ID存到内存中。
拦截模块在拦截到FB的绑定指令后,另一方面可以将绑定指令发送给决策模块。
909、拦截模块向决策模块发送FB的绑定指令。
910、决策模块确定FB的绑定指令中操作类型是否为绘制类型,以及确定指示绑定的FB是否为FB0。若操作类型为绘制类型,以及指示绑定的FB为FB0,决策模块则执行911;否则,决策模块不作处理。
911、决策模块确定画质增强模型是否初始化。若未初始化,则执行912及其后续步骤;若已初始化,则跳过912,执行913及其后续步骤。
912、决策模块存储指示绑定的FB的绘制大小,示例性的存为分辨率2。
其中,分辨率2即为UI的分辨率。
913、决策模块向内存中记录标记位1。
914、决策模块从内存中读取绘制ID和分辨率1。
应注意,本实施例的流程图主要是按照数据在模块之间的流动来说明的。虽然绘制ID的存储在后续步骤922中才出现,但是实际渲染过程中,针对各个FB的渲染命令是依次下发的,而针对任一FB的渲染命令,又会包括先后依次下发的绑定指令和渲染指令。因此,在执行914之前,针对其它FB的渲染命令可能已经执行到了922,那么则会记录下绘制ID。例如,当前需要绑定的是FB0,此前针对FB2的渲染命令,已经执行到了922,并将FB2记为了绘制ID。
915、决策模块从GPU中读取绘制ID对应的纹理附件的大小和纹理附件的ID。
916、决策模块确定绘制ID对应的纹理附件的大小是否和分辨率1相同。若相同,决策模块则执行917;若不同,决策模块则不作处理。
917、决策模块确定画质增强模型是否初始化。若未初始化,决策模块则执行924及其后续步骤;若已初始化,决策模块省略925、926和928。
918、拦截模块接收渲染指令。
拦截模块拦截到渲染指令后,同样一方面会发送给识别模块。
919、拦截模块向识别模块发送渲染指令。
920、识别模块确定渲染指令是否指示执行绘制操作。若是,识别模块则执行921;若否,识别模块则不作处理。
921、识别模块从内存中读取存储的FB的ID。
922、识别模块存储读取的FB的ID,示例性的存为绘制ID。
拦截模块拦截到渲染指令后,同样另一方面会发送给决策模块。
923、拦截模块向决策模块发送渲染指令。
924、决策模块从内存中读取标记位1。若读取到,决策模块则执行921;若未读取到,决策模块则不做处理。
925、决策模块从内存读取分辨率2。
926、决策模块向GPU发送资源初始化命令1,资源初始化命令1用于创建纹理2和program1。
927、画质增强模块接收GPU返回的纹理2的ID和program1的ID。
928、决策模块向GPU传递分辨率1和分辨率2。
929、决策模块将渲染指令发送给画质增强模块。
930、画质增强模块向GPU发送画质增强命令,画质增强命令中携带有绘制ID对应的纹理附件的ID和program1的ID。
931、画质增强模块将渲染指令中绘制ID对应的纹理附件的ID替换为纹理2的ID,得到修改后的渲染指令。
932、画质增强模块向GPU发送修改后的渲染指令。
上述900-932的具体实现方法可以参见对图3A和3C中的相关描述,在此不做赘述。可以理解的是,上述实施例中所示的执行顺序仅做示意,不构成任何限定,实施例中的一些步骤也可以被省略。
前述图8-图9B对应的实施例中,以画质增强模型是与游戏应用固定配置的模型为例来说明本申请提供的图像处理方案。但是实际实施时,并不以此为限。参见图10,在另一些实施例中,应用层还包括游戏助手,用于接收用户对画质增强的增强等级和/或增强方式的设置。框架层还包括负载监控模块,用于根据用户设置来采集电子设备的温度、GPU的负载、CPU的负载等负载参数。配置模块则可以根据负载监控模块采集的负载参数来选择画质增强模型。
本申请实施例还提供一种电子设备,该电子设备可以包括:存储器和一个或多个处理器(如CPU、GPU、NPU等)。存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中设备执行的各个功能或者步骤。
本申请实施例还提供一种芯片系统,如图11所示,该芯片系统1100包括至少一个处理器1101和至少一个接口电路1102。处理器1101和接口电路1102可通过线路互联。例如,接口电路1102可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路1102可用于向其它装置(例如处理器1101)发送信号。示例性的,接口电路1102可读取存储器中存储的指令,并将该指令发送给处理器1101。当所述指令被处理器1101执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的图像处理方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的图像处理方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的图像处理方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。

Claims (21)

1.一种图像处理方法,其特征在于,应用于电子设备,所述电子设备上运行有应用程序,所述方法包括:
接收所述应用程序下发的第一绑定指令,所述第一绑定指令中的操作类型不是只读类型、且所述第一绑定指令中的第一帧缓冲标识指示用于在屏渲染的第一帧缓冲;
接收所述应用程序下发的第一渲染指令,所述第一渲染指令指示绘制第一图像内容;
执行第二渲染指令,在所述第一帧缓冲中绘制第二图像内容,所述第二渲染指令指示绘制所述第二图像内容,所述第二图像内容是基于所述第一图像内容生成的,所述第二图像内容的分辨率高于所述第一图像内容的分辨率。
2.根据权利要求1所述的方法,其特征在于,所述第一图像内容在第二帧缓冲中渲染得到,所述第二帧缓冲用于离屏渲染,所述第二帧缓冲绑定有第一纹理,所述第一纹理的大小满足预设条件。
3.根据权利要求2所述的方法,其特征在于,所述第一纹理的大小包括所述第一纹理的宽度和所述第一纹理的高度;
所述第一纹理的大小满足所述预设条件,包括:所述第一纹理的宽度大于第一预设值和所述第一纹理的高度大于第一预设值;和/或,
所述第一纹理的大小满足所述预设条件,包括:所述第一纹理的宽度和所述第一纹理的高度的比值,与所述电子设备的显示屏的宽度和所述显示屏的高度的比值之差在预设范围内。
4.根据权利要求2或3所述的方法,其特征在于,所述第一图像内容存储在所述第一纹理中,所述第二图像内容存储在第二纹理中,所述第一渲染指令中包括第一纹理标识,所述第一纹理标识指示所述第一纹理;
在所述执行第二渲染指令之前,所述方法还包括:
将所述第一渲染指令中的所述第一纹理标识修改为第二纹理标识,得到所述第二渲染指令,所述第二纹理标识指示所述第二纹理。
5.根据权利要求4所述的方法,其特征在于,所述第一渲染指令中还包括第一程序标识,所述第一程序标识指示第一可执行程序program,所述第一program用于根据所述第一program绑定的第一着色器绘制图像,所述第一着色器中未集成第一模型,所述第一模型用于图像的锐化处理和/或降噪处理;
所述得到第二渲染指令还包括:
将所述第一渲染指令中的所述第一程序标识修改为第二程序标识,得到所述第二渲染指令,所述第二程序标识指示第二program,所述第二program根据所述第二program中绑定的第二着色器绘制图像,所述第二着色器中集成有所述第一模型;
所述执行第二渲染指令,在所述第一帧缓冲中绘制所述第二图像内容,包括:
执行所述第二渲染指令,在所述第一帧缓冲中绘制经所述锐化处理后的所述第二图像内容,和/或,在所述第一帧缓冲中绘制经所述降噪处理后的所述第二图像内容。
6.根据权利要求2-5中任一项所述的方法,其特征在于,在所述接收所述应用程序下发的第一绑定指令之前,所述方法还包括:
接收所述应用程序下发的第一创建命令,所述第一创建命令用于创建第三帧缓冲,所述第一创建命令中包括所述第三帧缓冲绑定的第三纹理的大小,所述第三纹理的大小满足所述预设条件;
存储所述第三纹理的大小;
其中,所述第一纹理的大小满足所述预设条件,包括:所述第一纹理的大小等于所述第三纹理的大小。
7.根据权利要求2-6中任一项所述的方法,其特征在于,在所述接收所述应用程序下发的第一绑定指令之前,所述方法还包括:
接收所述应用程序下发的第二绑定指令,所述第二绑定指令中的所述操作类型不是所述只读类型、且所述第二绑定指令中的第二帧缓冲标识未指示所述第一帧缓冲;
存储所述第二帧缓冲标识。
8.根据权利要求7所述的方法,其特征在于,在所述接收所述应用程序下发的第二绑定指令之后,所述方法还包括:
接收所述应用程序下发的第三渲染指令,所述第三渲染指令中指示执行的渲染操作包括绘制操作;
所述存储所述第二帧缓冲标识,包括:
响应于接收到所述第三渲染指令,存储所述第二帧缓冲标识。
9.根据权利要求7或8所述的方法,其特征在于,在所述存储所述第二帧缓冲标识之后,所述方法还包括:
接收所述应用程序下发的第三绑定指令,所述第三绑定指令中的所述操作类型不是所述只读类型、且所述第三绑定指令中的第三帧缓冲标识未指示所述第一帧缓冲;
将存储的所述第二帧缓冲标识替换为所述第三帧缓冲标识。
10.根据权利要求7-9中任一项所述的方法,其特征在于,在所述接收所述应用程序下发的第一绑定指令之后,所述方法还包括:
判断待处理帧缓冲绑定的待处理纹理的大小是否满足预设条件,所述待处理帧缓冲是存储的帧缓冲标识指示的帧缓冲;
所述执行第二渲染指令,包括:
若所述待处理纹理的大小满足所述预设条件,执行所述第二渲染指令;
其中,所述第二帧缓冲是所述待处理帧缓冲,所述第一图像内容是在所述待处理帧缓冲中渲染得到的,所述第一纹理是所述待处理纹理。
11.根据权利要求2-10中任一项所述的方法,其特征在于,在所述执行第二渲染指令之前,还包括:
处理所述第一图像内容,生成所述第二图像内容。
12.根据权利要求11所述的方法,其特征在于,所述处理所述第一图像内容,包括:
调用第三program处理所述第一图像内容,所述第三program用于根据所述第三program中绑定的第三着色器绘制图像,所述第三着色器中集成有第二模型的算法源码,所述第二模型用于提升图像的分辨率。
13.根据权利要求12所述的方法,其特征在于,所述第一绑定指令中包括绘制大小,在所述接收所述应用程序下发的第一绑定指令之后,所述方法还包括:
获取第一标记,所述第一标记指示已完成模型初始化,所述模型包括第二模型;
若未获取到所述第一标记,则存储所述绘制大小,若获取到所述第一标记,则不存储所述绘制大小。
14.根据权利要求13所述的方法,其特征在于,在所述调用第三program处理所述第一图像内容之前,所述方法还包括:
根据第三纹理的大小和所述绘制大小初始化所述第三program中的所述第二模型;
所述调用第三program处理所述第一图像内容,包括:
在初始化所述第三program中的所述第二模型后,调用所述第三program处理所述第一图像内容。
15.根据权利要求14所述的方法,其特征在于,在初始化所述第三program中的所述第二模型后,所述方法还包括:
存储所述第一标记。
16.根据权利要求1-15中任一项所述的方法,其特征在于,在所述接收应用程序下发的第一绑定指令之后,所述方法还包括:
存储第二标记,所述第二标记指示当前绑定的是第一帧缓冲;
在所述接收所述应用程序下发的第一渲染指令之后,所述方法还包括:
获取所述第二标记;
所述执行第二渲染指令,包括:
若获取到所述第二标记,执行所述第二渲染指令。
17.根据权利要求16所述的方法,其特征在于,在所述存储第二标记之后,所述方法还包括:
在接收到所述应用程序下发的第四绑定指令后,删除所述第二标记,所述第四绑定指令中的第四帧缓冲标识未指示所述第一帧缓冲。
18.根据权利要求12-17中任一项所述的方法,其特征在于,所述第二模型有多个,多个所述第二模型一一对应集成在多个所述第三着色器中,多个所述着色器一一绑定在多个所述第三program中;
在所述调用第三program处理所述第一图像内容之前,所述方法还包括:
根据用户设置的增强等级和/或增强方式选择目标模型,所述目标模型是多个所述第二模型中的一个;
所述调用第三program处理所述第一图像内容,包括:
调用所述目标模型所在的所述第三program处理所述第一图像内容。
19.一种电子设备,其特征在于,所述电子设备上运行有应用程序,所述电子设备包括:存储器和一个或多个处理器,所述存储器与所述处理器耦合;其中,所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如权利要求1-18中任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-18中任一项所述的方法。
21.一种芯片系统,其特征在于,所述芯片系统应用于包括处理器和存储器的电子设备,所述芯片系统包括一个或多个接口电路和一个或多个处理器,所述接口电路和所述处理器通过线路互联,所述接口电路用于从所述电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括所述存储器中存储的计算机指令,当所述处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-18中任一项所述的方法。
CN202210193791.9A 2022-02-28 2022-02-28 一种图像处理方法、电子设备及存储介质 Active CN114669047B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210193791.9A CN114669047B (zh) 2022-02-28 2022-02-28 一种图像处理方法、电子设备及存储介质
CN202310539537.4A CN116672704A (zh) 2022-02-28 2022-02-28 一种图像处理方法、电子设备及存储介质
EP22902464.1A EP4257217A1 (en) 2022-02-28 2022-12-19 Image processing method, electronic device, and storage medium
PCT/CN2022/140111 WO2023160167A1 (zh) 2022-02-28 2022-12-19 一种图像处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210193791.9A CN114669047B (zh) 2022-02-28 2022-02-28 一种图像处理方法、电子设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310539537.4A Division CN116672704A (zh) 2022-02-28 2022-02-28 一种图像处理方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114669047A true CN114669047A (zh) 2022-06-28
CN114669047B CN114669047B (zh) 2023-06-02

Family

ID=82072374

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210193791.9A Active CN114669047B (zh) 2022-02-28 2022-02-28 一种图像处理方法、电子设备及存储介质
CN202310539537.4A Pending CN116672704A (zh) 2022-02-28 2022-02-28 一种图像处理方法、电子设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310539537.4A Pending CN116672704A (zh) 2022-02-28 2022-02-28 一种图像处理方法、电子设备及存储介质

Country Status (3)

Country Link
EP (1) EP4257217A1 (zh)
CN (2) CN114669047B (zh)
WO (1) WO2023160167A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664375A (zh) * 2022-10-17 2023-08-29 荣耀终端有限公司 图像预测方法、装置、设备及存储介质
WO2023160167A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 一种图像处理方法、电子设备及存储介质
CN117112086A (zh) * 2023-01-31 2023-11-24 荣耀终端有限公司 一种数据处理方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041668B (zh) * 2023-10-08 2023-12-08 海马云(天津)信息技术有限公司 优化终端渲染性能的方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010026647A1 (en) * 2000-02-25 2001-10-04 Toru Morita Recording medium in which image data conforming to image output devices are stored
US6952215B1 (en) * 1999-03-31 2005-10-04 International Business Machines Corporation Method and system for graphics rendering using captured graphics hardware instructions
US20070257940A1 (en) * 2006-05-02 2007-11-08 Nintendo Co., Ltd. Storage medium storing game image processing program, game image processing apparatus and game image processing method
WO2012173304A1 (ko) * 2011-06-14 2012-12-20 주식회사 넥서스칩스 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법
US20170186136A1 (en) * 2015-12-28 2017-06-29 Volkswagen Ag System and methodologies for super sampling to enhance anti-aliasing in high resolution meshes
CN110166792A (zh) * 2018-02-14 2019-08-23 阿里巴巴集团控股有限公司 图像显示方法、装置、系统和存储介质
US20190287495A1 (en) * 2018-03-16 2019-09-19 Magic Leap, Inc. Depth based foveated rendering for display systems
CN111508055A (zh) * 2019-01-30 2020-08-07 华为技术有限公司 渲染方法及装置
CN113726950A (zh) * 2021-06-10 2021-11-30 荣耀终端有限公司 一种图像处理方法和电子设备
CN113838180A (zh) * 2020-06-24 2021-12-24 华为技术有限公司 一种渲染指令处理方法及其相关设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311548B2 (en) * 2017-09-05 2019-06-04 Microsoft Technology Licensing, Llc Scaling render targets to a higher rendering resolution to display higher quality video frames
CN109218802B (zh) * 2018-08-23 2020-09-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
CN113470153A (zh) * 2021-07-23 2021-10-01 腾讯科技(深圳)有限公司 虚拟场景的渲染方法、装置及电子设备
CN114669047B (zh) * 2022-02-28 2023-06-02 荣耀终端有限公司 一种图像处理方法、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952215B1 (en) * 1999-03-31 2005-10-04 International Business Machines Corporation Method and system for graphics rendering using captured graphics hardware instructions
US20010026647A1 (en) * 2000-02-25 2001-10-04 Toru Morita Recording medium in which image data conforming to image output devices are stored
US20070257940A1 (en) * 2006-05-02 2007-11-08 Nintendo Co., Ltd. Storage medium storing game image processing program, game image processing apparatus and game image processing method
WO2012173304A1 (ko) * 2011-06-14 2012-12-20 주식회사 넥서스칩스 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법
US20170186136A1 (en) * 2015-12-28 2017-06-29 Volkswagen Ag System and methodologies for super sampling to enhance anti-aliasing in high resolution meshes
CN110166792A (zh) * 2018-02-14 2019-08-23 阿里巴巴集团控股有限公司 图像显示方法、装置、系统和存储介质
US20190287495A1 (en) * 2018-03-16 2019-09-19 Magic Leap, Inc. Depth based foveated rendering for display systems
CN111508055A (zh) * 2019-01-30 2020-08-07 华为技术有限公司 渲染方法及装置
CN113838180A (zh) * 2020-06-24 2021-12-24 华为技术有限公司 一种渲染指令处理方法及其相关设备
CN113726950A (zh) * 2021-06-10 2021-11-30 荣耀终端有限公司 一种图像处理方法和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160167A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 一种图像处理方法、电子设备及存储介质
CN116664375A (zh) * 2022-10-17 2023-08-29 荣耀终端有限公司 图像预测方法、装置、设备及存储介质
CN116664375B (zh) * 2022-10-17 2024-04-12 荣耀终端有限公司 图像预测方法、装置、设备及存储介质
CN117112086A (zh) * 2023-01-31 2023-11-24 荣耀终端有限公司 一种数据处理方法及电子设备

Also Published As

Publication number Publication date
CN116672704A (zh) 2023-09-01
WO2023160167A1 (zh) 2023-08-31
EP4257217A1 (en) 2023-10-11
CN114669047B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN114669047B (zh) 一种图像处理方法、电子设备及存储介质
EP3657327A1 (en) Method for rendering game, and method, apparatus and device for generating game resource file
US9715750B2 (en) System and method for layering using tile-based renderers
KR102307163B1 (ko) 크로스 플랫폼 렌더링 엔진
KR101980990B1 (ko) 중간-분류 아키텍처에서 프레임 대 프레임 일관성의 활용
CN112381918A (zh) 图像渲染方法、装置、计算机设备和存储介质
US20090228782A1 (en) Acceleration of rendering of web-based content
US11727632B2 (en) Shader binding management in ray tracing
CN114210055B (zh) 一种图像渲染方法和电子设备
CN110020300B (zh) 一种浏览器页面合成方法及终端
KR20220016776A (ko) 메모리 시스템 효율적인 방식의 포스트-프로세싱
CN114708369A (zh) 一种图像渲染方法和电子设备
CN116546228B (zh) 用于虚拟场景的推流方法、装置、设备及存储介质
CN113838180A (zh) 一种渲染指令处理方法及其相关设备
CN116740254A (zh) 一种图像处理方法及终端
CN117557701A (zh) 一种图像渲染方法和电子设备
CN115018692A (zh) 一种图像渲染方法及电子设备
CN112231029A (zh) 应用于主题的帧动画处理方法
US20230169622A1 (en) Image processing
WO2024051471A1 (zh) 一种图像处理方法和电子设备
CN117710548A (zh) 图像渲染方法及其相关设备
KR20220123883A (ko) 컴퓨팅 시스템 및 컴퓨팅 시스템의 동작 방법
US9761043B1 (en) Non-multisampled anti-aliasing for clipping paths
CN115591230A (zh) 图像画面渲染方法及电子设备
CN116459516A (zh) 分屏特效道具生成方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant